De duurste aanval op een agent is geen slimme. Het is een grote

De duurste aanval op een agent is geen slimme. Het is een grote.

Over agents die berichten van buiten lezen wordt veel gezegd over prompt-injectie: iemand die in een mail verstopt dat het model zijn regels moet vergeten. Terecht. Maar er is een saaiere aanval die je net zo goed kunt verwachten: gewoon heel veel berichten sturen.

Elk bericht dat een model leest, kost tokens. Een agent met een publiek adres kan dus leeggetrokken worden zonder dat iemand iets slims hoeft te doen. En het hoeft niet eens kwaadwillend te zijn: twee automatische systemen die elkaar antwoorden geven (een afwezigheidsmelding op een afwezigheidsmelding) maken ook een lus die niet meer stopt.

Daarom heb ik bij elke ingang vier grenzen, in code en niet in een verwachting:

1. Een grens per afzender en per uur. Een gewone persoon stuurt een paar berichten. Wie er veel meer stuurt, krijgt eerst een vaste korte reactie zonder dat er een model aan te pas komt. Dat kost niets.

1. Daarna niets. Na die vaste reactie komt er geen antwoord meer. Wie bleef proberen heeft dan niets meer om op te reageren.

1. Een golfdetectie. Komen er in korte tijd opvallend veel nieuwe afzenders tegelijk, dan gaat het adres een paar uur op "alleen bekenden". Onbekenden krijgen één keer de vaste reactie, daarna niets, en ik krijg een kaart zodat ik weet dat het gebeurt.

1. Geen antwoord op een automatisch antwoord. Een afwezigheidsmelding krijgt geen reactie, en een tweede bericht van dezelfde afzender stuurt niets nieuws meer de deur uit. Zo kan een lus nooit meer dan één ronde duren.

De belangrijkste ontwerpkeuze: de goedkoopste verdediging komt het eerst. De vaste reactie heeft geen model nodig, dus een grote stroom berichten kost bijna niets. Pas wie binnen de grenzen blijft, komt bij het model.

Net als bij een sluis: het gaat niet om het water tegenhouden, maar om bepalen hoeveel er per uur doorheen mag.

En ik toets het. Met een vaste set berichten, waaronder een overspoeling, kijk ik of het aantal antwoorden dat uitgaat binnen de grens blijft. Daar leer je vaak iets van: dat een grens ergens ontbrak, of dat hij op één ingang wel en op een andere niet stond.

Heb je een agent of automatisering die van buiten bereikt kan worden? Wat gebeurt er bij jou als er in een uur honderd berichten komen?

#AIagents #Veiligheid #AI #Betrouwbaarheid

Alle stukken