Transformer
Wat is Transformer?
De transformer is een type neurale netwerkarchitectuur dat in 2017 werd gepubliceerd in het paper ‘Attention Is All You Need’. Het is de doorbraak die de huidige AI-revolutie mogelijk heeft gemaakt. Vrijwel alle moderne taalmodellen — GPT, Claude, Gemini, LLaMA — zijn gebaseerd op de transformer-architectuur.
Wat transformers bijzonder maakt is het attention-mechanisme. In plaats van tekst woord voor woord te verwerken, kan een transformer elk woord in een zin relateren aan elk ander woord. Het ‘let op’ welke woorden het belangrijkst zijn voor de betekenis. Dat stelt het in staat om lange teksten te begrijpen en context over grote afstanden vast te houden.
Voor gebruikers is de transformer een black box — je hoeft niet te weten hoe het werkt om het te gebruiken. Maar het is goed om te begrijpen waarom moderne AI zo veel beter is dan de AI van tien jaar geleden: het antwoord is de transformer.
De impact is niet beperkt tot taal. Transformers worden ook ingezet voor beeldherkenning, muziekgeneratie en zelfs het voorspellen van eiwitstructuren.
Voorbeeld uit de praktijk
Het verschil tussen de chatbot van je telecomprovider in 2015 (die vastzit in een script van voorgedefinieerde antwoorden) en ChatGPT in 2024 (die een genuanceerd gesprek kan voeren over elk onderwerp) — dat verschil is de transformer-architectuur.
Wat betekent dit voor jouw organisatie?
De transformer is de motor achter alle AI-automatiseringen die Agentech bouwt. Het is de reden waarom AI nu daadwerkelijk tekst kan begrijpen en verwerken op een niveau dat bruikbaar is voor bedrijfsprocessen.