Transformer in één minuut
Leg de woorden van een zin op kaartjes. Om één kaartje beter te interpreteren, zijn sommige andere kaartjes relevanter dan andere. Attention berekent zulke relaties in een numerieke representatie. Meerdere lagen combineren informatie verder. Het voorbeeld helpt de verbindingen begrijpen, maar het netwerk leest geen kaartjes zoals een mens en maakt geen bewuste keuze over wat belangrijk is.
Een Transformer met een eenvoudig voorbeeld
Neem de zin: “De klant ontving de lamp niet, omdat deze nog in het magazijn stond.” Om een bruikbare samenvatting te maken, moet het systeem onder andere de relatie tussen “deze” en “lamp” verwerken. Alleen het voorgaande woord bekijken is daarvoor onvoldoende. Informatie op verschillende posities kan relevant zijn voor de representatie van een onderdeel.
- De onderdelen
De klant · ontving · de lamp · niet · omdat · deze · nog in het magazijn stond.
- Een verband
Voor de verwijzing “deze” is informatie over de lamp relevant. Ook de ontkenning verandert de betekenis van de gebeurtenis.
- Een gezamenlijke representatie
Het netwerk combineert gewogen informatie. De precieze gewichten en lagen zijn niet zichtbaar in deze illustratie.
Dit is een uitlegmodel, geen gemeten attention-kaart van een werkelijk model. Het laat zien waarom volgorde, ontkenning en verwijzingen ertoe doen. In “de klant ontving de lamp” staat bijna hetzelfde woordmateriaal, maar ontbreekt het cruciale “niet”. Een samenvatting die dat woord negeert, verandert de inhoud terwijl zij grammaticaal perfect kan blijven.
Voor dagelijks gebruik is dat relevant bij offertes, voorwaarden en catalogi. Een zin kan een prijs noemen die alleen voor een specifieke verpakking geldt. Een andere zin kan het werkgebied beperken. Een goede opdracht houdt die informatie bij elkaar en vraagt om uitzonderingen te behouden. De architectuur maakt verwerking van relaties mogelijk, maar garandeert niet dat elke relatie juist wordt gebruikt.
Technisch bekeken
Tekst wordt doorgaans eerst in tokens omgezet. Het netwerk werkt met vectoren: reeksen getallen die onderdelen representeren. Positie-informatie helpt de volgorde onderscheidbaar te maken. Zonder enig mechanisme voor positie zou het onderscheid tussen verschillende ordeningen onvoldoende zijn. De precieze positiecodering verschilt tussen architecturen en modelgeneraties.
Self-attention. Voor een positie berekent het netwerk hoe informatie van andere toegestane posities wordt gewogen en gecombineerd. Vaak wordt dit uitgelegd met query-, key- en value-representaties: wat wordt vergeleken, waarmee en welke informatie wordt meegenomen. Het zijn interne vectorberekeningen, geen zoekopdrachten naar Google of een externe database.
Meerdere attention-heads kunnen verschillende relaties verwerken. Daarna volgen andere bewerkingen, waaronder feed-forward-netwerken, en meerdere lagen bouwen op elkaar voort. Een Transformer bestaat dus niet uitsluitend uit één attention-berekening. Training bepaalt de parameters waarmee die bewerkingen informatie transformeren. Attention laat de verwerking afhangen van de aangeboden reeks.
De oorspronkelijke Transformer gebruikte een encoder en decoder voor vertaaltaken. Latere systemen kunnen andere varianten gebruiken: encoder-gebaseerde modellen voor representaties, decoder-gebaseerde modellen voor autoregressieve generatie, of combinaties. Veel LLM’s gebruiken Transformer-varianten, maar “Transformer”, “LLM” en “Generative AI” zijn geen synoniemen.
De historische doorbraak hield onder meer verband met meer parallelle verwerking tijdens training dan bij een strikt recurrente verwerking van een reeks. Dat betekent niet dat elk antwoord in één keer wordt gegenereerd. Bij autoregressieve tekstgeneratie hangt een volgend token doorgaans af van eerder gekozen uitvoer. Training op bekende reeksen en het produceren van een nieuwe reeks zijn verschillende situaties.
Volledige self-attention kan veel rekenwerk en geheugen vragen bij lange reeksen, doordat veel positieparen met elkaar worden vergeleken. Er bestaan efficiëntere varianten en implementaties. Een grotere Context Window vertelt hoeveel invoer een bepaald systeem aankan, maar niet automatisch hoe goed het verspreide details benut of hoeveel tijd de verwerking kost.
Wat de architectuur wel en niet over kwaliteit vertelt
De naam Transformer zegt weinig over de geschiktheid voor één concrete bedrijfsopdracht. Trainingsgegevens, leerdoelen, modelomvang, invoerkwaliteit en aanvullende hulpmiddelen beïnvloeden de uitkomst. Twee systemen met dezelfde algemene architectuur kunnen heel anders presteren op Nederlands, kleine tekst in afbeeldingen of het samenvatten van tabellen. Vergelijk daarom de taak, niet alleen het architectuurlabel.
Een praktisch onderzoek gebruikt enkele documenten met bekende voorwaarden. Laat het systeem bijvoorbeeld de geldige levertijd, verpakking en prijsgrondslag noemen. Controleer of een uitzondering op een andere pagina is meegenomen. Verplaats eventueel relevante informatie in een testdocument om te onderzoeken hoe robuust de verwerking is. Zo beoordeel je het werkelijke resultaat zonder interne aandachtspatronen als verklaring te verzinnen.
- Houd informatie die bij elkaar hoort herkenbaar verbonden.
- Benoem versies, eenheden en uitzonderingen expliciet.
- Controleer ontkenningen en verwijzingen in samenvattingen.
- Verwar parallelle training niet met onbeperkt snelle generatie.
- Beoordeel een model op representatieve taken en controleerbare resultaten.
Dezelfde familie van technieken speelt ook een rol in Multimodal AI, waar bijvoorbeeld beeldinformatie aan taal kan worden gekoppeld. Dat maakt een model niet onfeilbaar: een verkeerde lezing of ongefundeerde aanvulling blijft mogelijk. De fiche Hallucination legt uit hoe je zulke uitkomsten herkent en hoe bronnen, hulpmiddelen en beoordeling het risico kunnen beperken.