kontextfönster: Varför modellen glömmer

Lästid: ca 5 min

I de föregående momenten har vi lärt oss om AI:ns grunder och vikten av tokens som dess byggstenar. Nu ska vi fördjupa oss i kontext-fönstret, en av de mest kritiska aspekterna för att förstå varför AI-modeller ibland "glömmer" tidigare instruktioner eller information. Kontext-fönstret är den begränsade mängd text (antal tokens) som en AI-modell kan hålla i sitt "arbetsminne" samtidigt. Att bemästra detta är avgörande för att du ska kunna formulera effektiva prompts och få konsekventa svar i klassrummet.

1. Vad är ett kontextfönster?

Ett kontextfönster (eller kontextfönster på svenska) är den maximala mängd data, mätt i tokens, som en AI-modell kan "se" och bearbeta vid varje given tidpunkt. Detta inkluderar både din prompt, eventuella tidigare meddelanden i konversationen och modellens egna svar.

• Olika storlekar: Storleken på kontext-fönstret varierar stort mellan olika AI-modeller.
  • Äldre modeller som GPT-3.5 hade ofta ett fönster på cirka 4 000 tokens.
  • Nyare, mer avancerade modeller som GPT-4 Turbo kan hantera upp till 128 000 tokens, vilket är en betydande skillnad.
  • Vissa lokalt körande modeller eller specialiserade AI:er kan ha fönster från 2 000 upp till 32 000 tokens.

Vad händer om fönstret fylls? Om den totala mängden tokens (din prompt + chatt-historik) överskrider modellens kontextfönster, kommer de äldsta tokenen att "falla ut" ur fönstret och därmed "glömmas bort" av modellen. Den kan då inte längre referera till den informationen.

2. Konsekvenser av ett begränsat kontextfönster

Att en AI-modell har ett begränsat kontextfönster kan leda till flera utmaningar i klassrummet:

1. Tidigare instruktioner glöms bort: I en lång konversation eller om du ger en mycket omfattande första prompt, kommer informationen i början att försvinna ur modellens "minne" när du når token-gränsen. Detta innebär att modellen kan tappa bort viktiga instruktioner, roller du tilldelat den (t.ex. "Du är en historielärare..."), eller detaljer du specificerat tidigt.
2. Ofullständiga eller irrelevanta svar: Eftersom modellen inte längre har tillgång till all tidigare information, kan den svara utan att ta hänsyn till viktiga detaljer som nu ligger utanför kontext-fönstret. Detta kan leda till svar som känns irrelevanta, motsägelsefulla eller som missar poängen med din ursprungliga fråga.

3. Exempel i praktiken

Låt oss se hur detta kan yttra sig i en klassrumssituation:

Scenario: Du börjar en konversation med AI:n med prompten: "Som en erfaren SO-lärare för årskurs 8, skapa en detaljerad lektionsplan i tre steg för en lektion om demokrati och medborgarskap i Sverige. Inkludera diskussionsfrågor, en praktisk övning och bedömningskriterier. Fokusera på elevernas delaktighet."

Du fortsätter sedan att ha en lång dialog med AI:n, där ni diskuterar olika aspekter av lektionsplanen, ber den förtydliga delar, och lägger till nya moment. Efter att ha genererat flera långa svar och instruktioner, kanske ni har passerat 4 000 tokens totalt.

Problemet: När du senare ber AI:n: "Kan du nu sammanfatta de tre viktigaste diskussionsfrågorna från vår ursprungliga lektionsplan?", kan det hända att AI:n ger ett generiskt svar eller inte alls kommer ihåg att den ska agera som en "erfaren SO-lärare för årskurs 8" med fokus på "demokrati och medborgarskap". Orsaken är att den ursprungliga instruktionen nu har fallit ut ur modellens kontextfönster.

4. Strategier för att arbeta med kontext-fönstret

För att effektivt hantera kontext-fönstret och undvika att AI:n "glömmer" viktig information, kan du använda dig av följande strategier:

• Korta, men kompletta prompts: Försök att lägga in all nödvändig information i början av varje prompt, snarare än att sprida ut den över flera meddelanden om det är kritiskt. Var koncis men tydlig.
• "RAG"-teknik (Retrieval Augmented Generation): Detta är en mer avancerad teknik där du först söker efter relevant information i externa dokument (t.ex. kursplaner, artiklar) och sedan matar in endast de relevanta delarna tillsammans med din prompt till AI:n. Istället för att ladda upp en hel bok, skickar du bara de relevanta styckena.
• "State management": I mer komplexa applikationer kan du programmera AI:n att bara skicka de senaste meddelandena och en sammanfattning av den viktigaste kontexten från början av konversationen. För dig som lärare innebär det att du ibland kan behöva upprepa nyckelinstruktioner.
• Chunking (segmentering): Om du har mycket långa texter (t.ex. en hel roman eller en omfattande forskningsrapport) som AI:n ska bearbeta, dela upp dem i mindre "segment" eller "bitar" (chunks). Bearbeta varje del för sig eller sammanfatta dem och skicka sedan sammanfattningarna till AI:n.
• Token-budgetering: Planera hur du fördelar dina tillgängliga tokens. Reservera plats för prompt (20-30%), tidigare konversation (30-40%) och svar (30-40%). Detta hjälper dig att behålla kontroll över vad som finns kvar i kontextfönstret.
• Begränsning av svarslängd: Kom ihåg att att sätta en maxlängd på AI:ns svar inte gör svaret mer koncist, utan bara avbryter det när token-gränsen nås. För kortare svar, be specifikt om "sammanfatta i 3 meningar" istället för att bara begränsa antalet tokens.

5. Praktiska tips för klassrummet

Här är några konkreta tips för hur du kan tillämpa denna kunskap i din undervisning:

• "Checkpoint"-övningar: Låt eleverna medvetet testa kontext-fönstret. Be dem att mata in en lång text eller en lång dialog och sedan ställa en fråga som refererar till något som de vet ligger tidigt i konversationen. Diskutera sedan varför AI:n eventuellt inte kommer ihåg det. Vad försvann?
• AI-assisterade sammanfattningar: Uppmuntra eleverna att regelbundet be AI:n att sammanfatta längre chatt-historik eller texter de arbetar med. Dessa kortare sammanfattningar kan sedan klistras in igen i chatten för att hålla den relevanta kontexten levande inom fönstret.
• Modulär uppladdning av material: Om eleverna ska analysera en längre text, t.ex. ett kapitel i en lärobok, instruera dem att ladda upp texten i mindre, men sammanhängande, delar istället för att försöka klistra in hela kapitlet på en gång. Då säkerställer du att AI:n kan bearbeta varje del ordentligt.

6. Reflektionsövning

För att fördjupa din förståelse för kontext-fönstret, reflektera över följande:

1. Välj en befintlig AI-konversation du har haft (eller starta en ny lång sådan). Fortsätt att mata in text (t.ex. långa svar eller nya prompts) tills du upplever att AI:n börjar glömma information från början av konversationen. Vilken typ av information försvann först?
2. Tänk på en lektionsplan eller ett projekt där du normalt skulle ge eleverna mycket bakgrundsinformation. Hur skulle du kunna omstrukturera dina prompts till AI:n (eller elevernas prompts) för att se till att kärninstruktionerna alltid finns inom modellens kontextfönster?
3. Diskutera med en kollega: Vilka strategier för att hantera kontext-fönstret tror ni skulle vara mest användbara i era specifika ämnen och för era elevgrupper? Finns det ämnen där ett större kontextfönster är mer kritiskt än i andra?

Nästa moment: Zero-shot-prompting: När AI förstår utan exempel. Vi går vidare och lär oss hur du kan formulera kraftfulla uppmaningar som AI:n förstår och kan agera på direkt, även utan att du ger några föregående exempel eller särskilda träningsdata.