Context Window in één minuut
Een groot archief past niet automatisch op één werktafel. De toepassing moet bepalen welke stukken tijdens een vraag beschikbaar zijn. Eerdere berichten kunnen worden behouden, samengevat of opnieuw opgehaald. Als iets buiten de actuele context valt, kun je niet aannemen dat het model het nog precies kan gebruiken. Een grotere tafel helpt met ruimte, maar garandeert geen foutloze vergelijking van alles wat erop ligt.
Context Window met een eenvoudig voorbeeld
Je vergelijkt drie offertes voor onderhoud van een winkel. Op de werktafel liggen je vraag, de relevante pagina’s en de instructie om prijs, werkzaamheden en uitzonderingen naast elkaar te zetten. Tijdens het gesprek voeg je een nieuwe versie van één offerte toe. Nu moet duidelijk zijn welke versie leidend is. Alleen meer ruimte toevoegen lost tegenstrijdige versies niet op.
AI Memory kan informatie buiten deze werktafel bewaren en later opnieuw laten ophalen. Dat is een functie van de toepassing, niet hetzelfde als een groter contextvenster. Een opgeslagen voorkeur of taakstatus moet nog steeds voor de juiste persoon en opdracht worden geselecteerd.
- Wat je neerlegt
Opdracht, relevante documenten, eerdere afspraken en resultaten van zoek- of rekenhulpmiddelen.
- Wat ruimte vraagt
Ook instructies van de toepassing en de te produceren reactie kunnen binnen het budget vallen.
- Wat buiten de tafel ligt
Een oud document of eerder gesprek is niet vanzelf beschikbaar. Het moet waar nodig opnieuw worden aangeleverd of opgehaald.
De vergelijking met een tafel beschrijft beschikbaarheid, niet een letterlijk menselijk werkgeheugen. Een model kijkt niet bewust rond. Het verwerkt de representaties die de toepassing aanbiedt. Een chatinterface kan een lange geschiedenis tonen terwijl niet elk oud bericht in volledige vorm aan de huidige modelaanroep wordt meegegeven.
Een bruikbare opdracht noemt daarom de geldige documenten en het doel: vergelijk versie B van offerte één met de twee andere offertes, behoud uitsluitingen en meld ontbrekende bedragen. Als het systeem de oude versie gebruikt, is dat een bron- of contextprobleem. Een prettig geformuleerde vergelijking kan dat probleem verbergen.
Ook bij een catalogus is selectie belangrijk. Voor één vraag over verpakking en levertijd zijn misschien drie passages nodig, niet alle productbeschrijvingen. De juiste informatie compact aanbieden helpt zowel de verwerking als de controle door een medewerker. Cruciale voorwaarden verwijderen om ruimte te besparen heeft het tegenovergestelde effect.
Technisch bekeken
| Begrip | Functie | Voorbeeld |
|---|---|---|
| Context Window | Informatie die bij de actuele verwerking beschikbaar kan zijn. | De vraag en de aangeboden passages van een offerte. |
| Training data | Voorbeelden waarmee modelparameters tijdens training zijn aangepast. | Taal en patronen geleerd voordat deze interactie plaatsvindt. |
| Memory | Een opslag- en selectiefunctie van de toepassing voor informatie over langere tijd. | Een bewaarde voorkeur die later opnieuw aan de context wordt toegevoegd. |
Een LLM gebruikt zijn geleerde parameters naast de actuele invoer. Het oorspronkelijke trainingscorpus ligt niet als volledig doorzoekbaar document op de werktafel. Een voorkeur bewaren in een geheugenfunctie is ook geen directe hertraining. De toepassing slaat informatie buiten de modelaanroep op en kan die later weer beschikbaar maken. Welke gegevens worden bewaard en geselecteerd hangt af van het product.
Tokens vormen vaak de rekeneenheid voor de grens. Instructies, berichten, documenten, hulpmiddeldefinities en resultaten kunnen budget gebruiken. Bij multimodale invoer kunnen ook beelden of audio een vertegenwoordiging in die telling krijgen. Een bestandslimiet in megabytes is daarom niet gelijk aan een contextlimiet. De technische documentatie bepaalt welke grenzen tegelijk gelden.
In veel systemen delen invoer en uitvoer een totaalbudget, terwijl er daarnaast een maximale uitvoerlengte geldt. Een model kan dus meer tekst lezen dan het in één antwoord mag schrijven. Reasoning- of denkbudgetten kunnen aanvullende regels hebben. Vergelijk specificaties van hetzelfde model en dezelfde interface; tel geen vermeende standaardlimiet op bij een ongerelateerd product.
Contextbeheer. Een toepassing kan oude inhoud verwijderen, samenvatten of relevante delen opnieuw ophalen. Samenvatten behoudt niet altijd elk detail. Caching kan herhaald verwerken goedkoper of sneller maken, maar verandert niet automatisch de ruimte die context inneemt. Het zijn verschillende technieken met verschillende gevolgen.
Onderzoek zoals Lost in the Middle laat zien dat toegang tot een lange invoer niet hetzelfde is als ieder detail even goed gebruiken. De onderzochte modellen en taken bepalen de resultaten; het is geen vaste foutcurve voor alle toekomstige modellen. De algemene les is wel bruikbaar: test of jouw informatie wordt gevonden, ook wanneer deze verspreid of tussen veel afleiding staat.
Organiseer de context rond de beslissing die nodig is
Begin met de vraag en selecteer materiaal dat die vraag kan beantwoorden. Geef stukken herkenbare namen, versies en datums. Vraag bij een vergelijking om verwijzingen naar de gebruikte passages. Dat maakt controle eenvoudiger en laat eerder zien wanneer een tekstdeel ontbreekt. Een bronverwijzing moet natuurlijk nog steeds echt naar de juiste passage leiden.
RAG kan informatie uit een grotere verzameling ophalen voordat een antwoord ontstaat. Zo kan het archief groter zijn dan de werktafel. De zoekstap bepaalt wat erop komt te liggen. Wanneer de juiste prijslijst niet wordt gevonden, kan een groter generatiemodel dat ontbrekende feit niet betrouwbaar reconstrueren. Contextselectie verdient daarom een eigen controle.
- Leg vast welke documenten actueel en leidend zijn.
- Houd voorwaarden en de uitspraak waarop zij slaan bij elkaar.
- Reserveer ruimte voor het gewenste antwoord en noodzakelijke hulpmiddelresultaten.
- Controleer wat bij lange gesprekken is samengevat of opnieuw opgehaald.
- Test met echte documenten of relevante details behouden blijven.
Bij een ontbrekend detail is een passende vervolgstap om het opnieuw te leveren of de bron gericht op te vragen. Een instructie als “je weet dit nog van vorige week” creëert geen toegang tot een oud gesprek. Vraag liever welke informatie aantoonbaar beschikbaar is. Daarmee voorkom je dat een hallucination een onzichtbaar gat opvult.
De beste context is niet noodzakelijk de grootste. Voor het samenvatten van één besluit is een korte, betrouwbare notitie vaak geschikter dan een compleet archief met verouderde versies. Beoordeel de combinatie van ruimte, selectie en bronkwaliteit. Dat geeft een realistischer beeld van bruikbaarheid dan uitsluitend het hoogste geadverteerde tokenaantal.