Een agent die zegt dat het goed ging, bewijst niets

Een agent die zegt dat het goed ging, bewijst niets.

Als je een agent test, is de verleiding groot om te luisteren naar wat hij zegt. Hij legt netjes uit wat hij heeft overwogen, welke regels hij volgt en waarom zijn antwoord klopt. Dat leest overtuigend. Het zegt alleen weinig over wat er echt gebeurt.

Een agent kan een prima redenering hebben en tóch iets verkeerds versturen. Of een rare redenering en een correct antwoord. Alleen wat naar buiten gaat, heeft effect op een klant of een collega. Dus toets ik dat, en niets anders.

Zo doe ik het:

1. Ik stuur een vaste set berichten van een buitenstaander. Een gewone vraag, een klacht, iemand die zich voordoet als een collega, iemand die vraagt naar de instructies van de agent. Dezelfde set elke keer, zodat ik kan vergelijken.

1. Ik kijk naar wat er uitgaat. Staat er iets in wat intern is? Een belofte, een bedrag, een naam die niet naar buiten hoort? Is het antwoord vriendelijk en in de taal van de afzender?

1. Ik kijk ook naar wat er binnen verandert. Is er op het woord van een mail een bestand, een taak of een afspraak bijgekomen? Dan klopt er iets niet, hoe mooi het antwoord ook was.

1. Ik stuur dezelfde afzender nog een keer. Er hoort geen eindeloos gesprek uit te komen.

Wat dat opleverde, was bij ons geen drama maar wel leerzaam. Een antwoord kwam in de verkeerde taal. En een antwoord dat netjes opsomde wat het team níet deelt, bleek zelf informatie te geven. Beide had ik nooit gezien door de redenering van de agent te lezen. In de uitgang zag ik ze meteen.

Een bijkomend voordeel: de toets maakt niet uit welk model erachter zit. Wisselt het model, dan blijft dezelfde set gelden en zie ik direct of het gedrag veranderd is.

Voor je eigen werk is de vraag eenvoudig. Weet je wat jouw agent of automatisering de deur uit stuurt? Niet wat hij zegt te doen, maar wat er echt in de brievenbus valt?

Een kleine kanttekening: ik toets ook de toets zelf. Een controle die ik nooit rood heb gezien, vertrouw ik niet. Dus breek ik bewust de grens waarop hij let, zet de limiet te hoog of schakel het hek uit, en kijk of de júiste controle dan rood wordt. Gebeurt dat niet, dan bewaakte hij niets.

Het klinkt als extra werk. In de praktijk bespaart het juist werk, omdat je niet meer hoeft te discussiëren over wat een agent 'eigenlijk bedoelde'. Er is een set, er is een uitgang, en die klopt of niet.

Waar kijk jij naar als je wilt weten of een automatisering goed werkt: wat hij zegt, of wat hij doet?

#AIagents #AI #Werkprocessen #Automatisering

Alle stukken