Context window
Wat is Context window?
Het context window is de maximale hoeveelheid tekst die een AI-model in één keer kan ‘lezen’. Het is als het werkgeheugen van het model: alles wat erin past kan het meenemen in zijn antwoord, alles wat er niet in past is het kwijt.
Context windows worden gemeten in tokens. GPT-4 Turbo heeft een window van 128.000 tokens (circa 200 pagina’s). Claude heeft een window tot 200.000 tokens. Kleinere modellen hebben soms maar 4.000 of 8.000 tokens.
Voor bedrijfsautomatisering is het context window relevant omdat het bepaalt hoeveel informatie je in één prompt kunt meegeven. Als je een document van 100 pagina’s wilt analyseren en je model heeft een klein context window, moet je het document opsplitsen — met het risico dat je context verliest.
Grotere context windows zijn duurder (meer tokens = meer kosten) en langzamer. De kunst is om precies de juiste hoeveelheid context mee te geven: genoeg om een goed antwoord te krijgen, niet meer dan nodig.
Voorbeeld uit de praktijk
Een juridisch team wil complete contracten van 80 pagina's laten analyseren door AI. Met een model met een klein context window zou dat niet in één keer passen. Met Claude's context window van 200K tokens past het contract ruim en kan de AI het in zijn geheel analyseren, inclusief kruisverwijzingen tussen artikelen.
Wat betekent dit voor jouw organisatie?
Agentech kiest het model met het juiste context window voor jouw toepassing. Soms is een groot window essentieel, soms is een kleiner, goedkoper model met slimme chunking de betere keuze.