Token in één minuut
Een pagina met vijfhonderd woorden bestaat niet automatisch uit vijfhonderd tokens. Lange samenstellingen, namen, cijfers en taal kunnen de verdeling veranderen. Gebruik voor een serieuze schatting de tokenizer of telmethode van het betreffende model. Een gemiddelde verhouding kan hoogstens een ruwe indicatie zijn, geen vaste omrekening voor Nederlands, Engels, Spaans en alle soorten documenten.
Een Token met een eenvoudig voorbeeld
Denk aan tekst als een reeks bouwsteentjes. Een veelvoorkomend woord kan één steentje zijn; een onbekende samenstelling kan uit meerdere steentjes bestaan. Dat is een analogie voor de verdeling, niet de bewering dat ieder steentje zelfstandig betekenis heeft. Sommige tokens bevatten bijvoorbeeld een spatie of een deel van een tekenrepresentatie.
| Teksttype | Wat kan gebeuren? | Waarom dit uitmaakt |
|---|---|---|
| Een gewoon woord | Het kan als één onderdeel of als meerdere delen worden verwerkt. | Een woordenteller is geen tokenteller. |
| Een lange productcode | Letters, cijfers en tekens kunnen in verschillende delen vallen. | Een kort ogende code kan relatief veel tokens vragen. |
| Een zin met interpunctie | Leestekens en spaties beïnvloeden de verdeling. | Ook vormgeving en exacte schrijfwijze kunnen meetellen. |
| Dezelfde uitleg in drie talen | De tokenizer kan iedere versie anders opdelen. | Gebruik geen vaste kostenverhouding tussen talen. |
Een concreet voorbeeld uit de Hugging Face-cursus toont het Engelse woord “transformer” als de delen “transform” en “##er” in het beschreven subword-voorbeeld. Het voorvoegsel bij het tweede deel is een tokenizerconventie. Dit voorbeeld laat zien dat één woord meerdere tokens kan vormen; het voorspelt niet hoe iedere huidige tokenizer dat woord verwerkt.
Voor een Nederlandse catalogus kunnen samenstellingen, merknamen en artikelnummers relevant zijn. Voor een Spaanse tekst spelen onder meer exacte tekens en formulering mee. Daarom is “één token is altijd 0,75 woord” geen betrouwbare algemene regel. Meet representatieve inhoud in plaats van één Engels gemiddelde op het hele bedrijfsproces toe te passen.
Verander niet zomaar correcte productcodes of essentiële voorwaarden om een paar tokens te besparen. Dan kan het systeem een ander artikel interpreteren of een uitzondering missen. Een beknopte, goed gekozen bron is nuttig; informatieverlies door blind inkorten kan duurder uitvallen dan de besparing op verwerking.
Technisch bekeken
Een tokenizer gebruikt een vocabulaire en regels om tekst in eenheden om te zetten. Bekende methoden zijn byte-pair encoding, WordPiece en Unigram. Sommige methoden beginnen vanuit tekens of bytes en combineren patronen. De indeling volgt niet noodzakelijk de taalkundige grens van een woord of lettergreep. Een token-ID is een verwijzing binnen dat specifieke vocabulaire, geen universeel nummer voor een begrip.
Het LLM verwerkt representaties van deze IDs. In veel genererende modellen wordt telkens een verdeling voor het volgende token berekend. Na de selectie volgt een nieuwe stap met de uitgebreide reeks. Decoderen maakt de tokenreeks weer leesbaar. Het systeem produceert dus niet noodzakelijk telkens één compleet woord, ook al toont de interface de uitvoer vloeiend op het scherm.
Speciale tokens. Een model kan aparte tokens gebruiken voor grenzen, rollen of andere structuur. Daardoor bestaat de werkelijke invoer uit meer dan alleen de zin die je in het tekstvak ziet. Instructies en gespreksopmaak van de toepassing kunnen eveneens meetellen. De precieze telling volgt het gebruikte product en model.
Bij Multimodal AI kunnen afbeeldingen, audio en video een eigen verwerking en telmethode hebben. Het aantal zichtbare woorden in een PDF is dan geen volledige kostenberekening. Een pagina kan als tekst, als afbeelding of als combinatie worden verwerkt. Kijk naar de documentatie en gebruiksrapportage voor de werkelijke invoervorm.
De Context Window begrenst wat tijdens verwerking beschikbaar kan zijn. Vaak delen invoer en gegenereerde uitvoer een totaalbudget, met aanvullende uitvoerlimieten en soms regels voor interne reasoning-tokens. Daarom moet je niet alleen vragen hoeveel tekst je kunt uploaden, maar ook hoeveel ruimte overblijft voor de gewenste reactie.
Kosten en snelheid hangen van meer af dan de woordenteller
Veel API-diensten rekenen op basis van invoer- en uitvoertokens, soms met verschillende tarieven en aparte regels voor caching. Een chatabonnement kan een ander betaalmodel hebben. Zonder concreet product, datum en gebruikspatroon is er dus geen universele tokenprijs. Een technisch telvoorbeeld is niet hetzelfde als een prijsopgave.
Meer uitvoertokens betekenen bij autoregressieve generatie doorgaans meer opeenvolgende stappen. Langere invoer kost eveneens verwerking. De werkelijke wachttijd hangt ook af van model, hardware, serverbelasting, caching en hulpmiddelacties. Twee antwoorden met hetzelfde tokenaantal hoeven daarom niet even snel te verschijnen. Een beloofde constante snelheid per woord geeft een verkeerd beeld.
- Meet een echte selectie van je documenten en talen.
- Tel instructies, bronnen, gesprek en verwachte uitvoer mee.
- Verwijder herhaling, maar behoud essentiële feiten en voorwaarden.
- Controleer of een PDF als tekst of ook als beeld wordt verwerkt.
- Bekijk gebruiksrapportage en actuele productvoorwaarden voordat je kosten berekent.
Wanneer een hele catalogus te veel ruimte vraagt, kan RAG relevante passages selecteren in plaats van alles telkens mee te sturen. Dat vraagt wel een goede zoekstap. Minder tokens zijn alleen nuttig als de juiste informatie behouden blijft. Het doel is een passende, controleerbare uitkomst, niet de kleinst mogelijke invoer ongeacht de gevolgen.