Wat kost een agent? Begin bij het plafond

Wat kost een agent? Begin bij het plafond.

De meeste vragen over AI in een organisatie gaan over wat het kan. De vraag die bij de eerste echte invoering komt, is een andere: wat kost het, en wat gebeurt er als het uit de hand loopt?

Een agent die werkt, gebruikt tokens. Elke keer dat hij leest, denkt of schrijft, kost dat geld. Een agent die in een lus raakt, kan in een nacht meer verbruiken dan je in een maand had verwacht. Daarom krijgt bij mij elke rol een budget, voordat hij iets mag doen.

Het budget heeft drie niveaus:

1. Per taak. Eén ticket, één beurt, een vaste bovengrens. Is die bereikt, dan stopt de agent en zegt hij waar hij gebleven is.

1. Per dag. Samen mogen alle taken van een rol niet boven een dagbedrag uitkomen.

1. Een plafond. Een harde grens waar niets doorheen gaat, ook niet als er een goede reden lijkt te zijn.

Dat voelt streng, maar het levert twee dingen op. Je weet vooraf wat het hoogste is dat het kan kosten, en daarmee wordt de beslissing om te beginnen veel kleiner. En je krijgt een rekensom: wat kost deze rol per week, en wat zou dezelfde taak anders aan tijd kosten?

Die rekensom is niet moeilijk, maar je moet haar wel maken voordat je opschaalt:

• hoeveel taken per week doet de agent;
• wat verbruikt dat aan tokens, in euro's;
• hoeveel tijd kostte hetzelfde werk eerder, en wie keek het na;
• hoe vaak moest er iets worden hersteld.

Zonder die vier getallen is "het voelt sneller" het enige bewijs, en daarmee overtuig je niemand die moet beslissen of de agent mag blijven.

Een stopconditie hoort er ook bij. Bij mij stopt een rol als er twijfel is of iets binnen de regels past, en als een bron achter een betaalmuur of inlog zit. Stoppen kost niets. Doorgaan zonder te weten wat het kost, soms wel.

Wat makkelijk over het hoofd wordt gezien: de kosten zijn niet alleen tokens. Een agent die vaak iets fout doet, kost ook de tijd van de persoon die het herstelt. Meet daarom naast het verbruik ook hoe vaak er iets teruggedraaid moest worden. Een goedkope agent die elke dag een kwartier herstelwerk veroorzaakt, is niet goedkoop.

Daarom begin ik klein. Eén rol, één taak, één week meten. Pas als de rekensom klopt, krijgt de agent er meer werk bij. En elke maand kijk ik opnieuw: is de taak nog dezelfde, is het verbruik gelijk gebleven, en is de uitkomst nog zo goed als in de eerste week?

Heb jij al een bovengrens voor wat een agent of automatisering mag kosten, voordat je hem aanzet?

#AIagents #AI #Werkprocessen #Procesverbetering

Alle stukken