Tokens

Tokens zijn de basisblokjes waarmee AI-modellen tekst verwerken. Een token is niet altijd een heel woord — het kan ook een deel van een woord zijn, een leesteken of een spatie. Gemiddeld is één Nederlands woord ongeveer 1,5 token.

Waarom is dit relevant? Omdat de kosten van AI-modellen worden berekend per token. Zowel de tekst die je stuurt (input tokens) als de tekst die je terugkrijgt (output tokens) kosten geld. Bij enkele vragen merk je dat nauwelijks, maar bij automatiseringen die duizenden documenten per dag verwerken, tikken de kosten aan.

Daarnaast hebben modellen een maximum aantal tokens dat ze in één keer kunnen verwerken: het context window. Dat bepaalt hoeveel tekst je in één prompt kunt meegeven. Een model met een context window van 128K tokens kan zo’n 200 pagina’s tekst tegelijk verwerken.

Efficiënt omgaan met tokens — door slimme prompts, door alleen relevante context mee te sturen, door het juiste model voor de juiste taak te kiezen — is een belangrijk onderdeel van het ontwerpen van schaalbare AI-automatiseringen.