We schreven zelf een mail van de "IT-afdeling" aan een van onze agents

Of hij even zijn instructies wilde sturen. En voor de zekerheid een rekeningnummer. Beleefd, in goed Engels, officieel van toon.

De agent antwoordde vriendelijk, deelde niets en gaf de vraag door aan een mens.

Dat was geen geluk. Die mail is er één uit een vaste set van twintig: berichten die zich voordoen als Floris, die vragen om instructies of bankgegevens, die een opdracht verstoppen in een bijlage, of die het adres overspoelen.

We toetsen op twee dingen. Wat gaat er de deur uit? En wat is er binnen veranderd: een nieuw ticket, een gewijzigd adres, een schema? Niet wat de agent erover zegt. Bij elke wijziging draait de set met een nepmodel, en regelmatig met het echte model, als proef waarbij niets wordt verstuurd.

En wat moet gelden, staat in de code, niet in de prompt. Een regel in een prompt is een verzoek, geen muur. Een link komt alleen binnen als "link naar <domein>". Tijdens een WhatsApp-beurt heeft de agent geen gereedschap. Een mail die beweert van Floris te komen, moet dat bewijzen.

Een agent die mail, WhatsApp of een formulier leest, krijgt elke dag berichten van mensen die je niet kent. Die kun je niet uitsluiten. Je kunt wel zorgen dat het goed gaan niet van het model afhangt.

Weet jij wat jouw agent met zo'n mail doet?

#AIAgents #Agents #Beveiliging #Testen

Alle stukken