Waarom mijn AI-agent een beslismodel kreeg

Wat is Jev, en welk probleem herkende ik?

Jev noemt zichzelf een System One Model. Je geeft het de situatie en een getypeerde vraag, bijvoorbeeld 'welke van deze vijf categorieën?' of 'ja of nee?', en je krijgt een antwoord terug met een gekalibreerde kans erbij. Geen lap tekst die je nog moet ontleden, maar een beslissing waar software direct mee verder kan.

In mijn werk bouw ik aan een AI-agent die vragen over data beantwoordt. Voordat die agent iets doet, moet hij een reeks keuzes maken. Wat voor vraag is dit? Welke databron hoort erbij? Welke tool gebruik ik? In welke taal is de vraag gesteld? En kan ik dit eigenlijk wel beantwoorden? Die keuzes liet ik maken door een combinatie van een taalmodel en reguliere expressies. Dat werkte, maar het was traag en broos.

Waarom is een taalmodel de verkeerde schakelaar?

Een taalmodel is gemaakt om tekst te begrijpen en te schrijven. Routeren is iets anders: uit een vaste lijst de juiste optie kiezen, duizenden keren per dag, elke keer op dezelfde manier. Laat je dat aan een taalmodel over, dan betaal je bij elke vraag een volledige aanroep van seconden en centen. Het antwoord kan per keer verschillen. Je moet de uitvoer ontleden, wat soms misgaat. En vraag je het model hoe zeker het is, dan klinkt het altijd zeker.

Reguliere expressies zijn het andere uiterste: razendsnel en voorspelbaar, maar ze breken bij de eerste formulering die je niet had voorzien. Elke uitzondering wordt een nieuwe regel, tot niemand meer snapt waarom een vraag de verkeerde kant op gaat.

De cijfers die TypeSafe publiceerde, laten zien waar het verschil zit. Let wel: het zijn hun eigen metingen, op werkstromen die ze zelf hebben opgezet.

Is een beslismodel dan slimmer?

Nee, en dat is belangrijk om eerlijk te zeggen. In de test van TypeSafe scoren de beste taalmodellen 5 tot 6 procentpunten hoger dan Jev. Wie 'beter' alleen meet in nauwkeurigheid, kiest het grote model.

Maar in een agent die de hele dag draait, is nauwkeurigheid niet het enige dat telt. Een beslismodel is tientallen keren sneller en honderden keren goedkoper per beslissing. Het geeft op dezelfde vraag hetzelfde antwoord. Het levert altijd een geldig antwoord in het afgesproken formaat. En het zegt hoe zeker het is, op een manier waar je op kunt bouwen. Die laatste eigenschap blijkt in de praktijk de belangrijkste, zoals je verderop ziet.

Wat heb ik gebouwd?

Ik kan niet te veel in detail gaan, omdat het voor mijn werk is, maar het principe is breed toepasbaar. In plaats van een algemeen model als Jev heb ik een klein, eigen model getraind: een embeddingmodel dat tekst omzet in getallen, met daarboven een classificatielaag die de keuze maakt. Het is een fractie van de grootte van een taalmodel en draait op gewone hardware.

De trainingsdata kwam uit twee bronnen: vragen die met de hand gelabeld zijn, en logs van vragen die de agent eerder kreeg. Ik ben begonnen met een groter model en heb dat daarna gedistilleerd naar een klein model. Bij distilleren leert het kleine model het gedrag van het grote na. Je houdt het grootste deel van de kwaliteit, maar krijgt de snelheid en de lage kosten van het kleine model.

In de agent zit het beslismodel nu vooraan, als schakelaar. Het taalmodel komt pas in actie waar echt taal nodig is.

Waarom is zekerheid het echte voordeel?

Omdat de agent daarmee weet wanneer hij het niet weet. Routinevragen handelt het kleine model snel en goedkoop af. De lastige vragen gaan naar het taalmodel, dat er meer tijd en geld aan mag besteden. En wat ook het taalmodel niet zeker weet, komt bij de gebruiker terug als vraag. Je betaalt voor denkwerk alleen waar denkwerk nodig is.

Dit is dezelfde gedachte die ik in elk systeem toepas: een model voorspelt, en bij twijfel beslist iets of iemand anders. Met een taalmodel als schakelaar kun je die drempel niet goed trekken, omdat je zijn zekerheid niet kunt vertrouwen. Met een gekalibreerd beslismodel wel. Die drempel is daarmee geen technisch detail meer, maar een keuze die je bewust maakt: hoeveel mag de agent zelf, en wanneer vraagt hij het na?

Kant-en-klaar of een eigen model, en wat zeggen de AVG en de AI Act?

Een algemeen model als Jev heeft één groot voordeel: je hebt geen eigen data nodig om te beginnen. Een eigen model vraagt meer werk vooraf, maar in Europa weegt een ander verschil zwaarder: waar gaan je gegevens heen, en kun je uitleggen hoe je model werkt?

Bij een externe API gaat elke vraag, inclusief wat er over klanten of medewerkers in staat, naar de servers van die aanbieder. Op de site van Jev vond ik niets over waar die gegevens verwerkt worden. Voor bedrijfsdata betekent dat: eerst uitzoeken waar het draait, een verwerkersovereenkomst regelen en bij doorgifte buiten de EU een geldige grondslag hebben. Een klein eigen model draait op je eigen server in de EU. De vraag verlaat je omgeving niet.

Dan de AI Act. Valt je toepassing onder hoog risico, dan vraagt de wet onder meer eisen aan je trainingsdata, technische documentatie en menselijk toezicht. Bij een eigen model weet je precies op welke data het geleerd heeft en kun je dat vastleggen. Bij een algemeen model van een ander ben je afhankelijk van wat die aanbieder erover vertelt. En de drempel uit de vorige paragraaf, waarop het systeem de beslissing aan een mens teruggeeft, is precies het soort menselijk toezicht dat de wet beschrijft.

Wat ik leerde

De grootste les: ik had meer data nodig dan ik verwachtte. Wat per keuze als genoeg voorbeelden voelde, bleek te weinig zodra meerdere keuzes en talen samenkwamen: sommige categorieën hadden simpelweg te weinig voorbeelden. Het labelen is het eigenlijke werk, niet het trainen.

Daarom zijn logs zo waardevol. Elke vraag die de agent ooit kreeg, en wat er uiteindelijk mee gebeurde, is een trainingsvoorbeeld in wording. En de vragen die via de drempel naar het taalmodel of de gebruiker gaan, zijn precies de voorbeelden waar het kleine model het meest van leert. Een agent met een beslismodel maakt zo zijn eigen volgende trainingsset.

Wat betekent dit voor AI-agents in bedrijfssoftware?

Kijk naar wat een AI-agent in een bedrijf de hele dag doet, en het meeste is kiezen, niet schrijven. Is deze mail een order, een wijziging of een vraag? Is deze storingsmelding spoed? Welke collega pakt dit op? Hoort deze factuur bij die rit? Dat zijn allemaal keuzes uit een vaste lijst, en precies daar is een beslismodel sneller, goedkoper en voorspelbaarder dan een taalmodel.

Het taalmodel blijft nodig, voor gegevens uit een rommelige mail halen, een antwoord formuleren of iets samenvatten. Maar het wordt een specialist die je inzet waar het verschil maakt, niet de schakelaar waar alles doorheen moet. Zo bouw ik AI-agents nu: een beslismodel vooraan, een taalmodel waar taal nodig is, en een mens waar het systeem twijfelt.