Je toetst een agent twee keer: één keer gratis, één keer echt

Je toetst een agent twee keer: één keer gratis, één keer echt.

Een agent die berichten van buiten leest, moet je blijven toetsen. Niet één keer bij de start, want het model eronder verandert, de regels veranderen en de aanvallen veranderen mee. Maar elke toets met een echt model kost tokens en tijd. Dus ik toets in twee lagen.

Laag 1 is gratis en draait bij elke wijziging. Hier staat een nep-model, een model dat altijd hetzelfde antwoordt. De poort, de grenzen en de regels zijn wel echt. Ik stuur een vaste set berichten van een buitenstaander: iemand die zegt dat ik mijn instructies moet negeren, iemand die om een wachtwoord vraagt, iemand die zich voordoet als een collega, iemand die de brievenbus volstuurt. De vraag is dan: houdt de poort stand? Een grens die breekt, wordt hier meteen rood.

Laag 2 gebruikt het echte model, één keer per week. Dezelfde set gaat door dezelfde weg als echte post, in een droge omgeving: er wordt niets verstuurd. Hier meet ik niet de poort maar het gedrag: houdt het model zich eraan als niemand het controleert? Een model kan een goede redenering hebben en toch iets verkeerds sturen, of een vreemde redenering en toch een correct antwoord. Daarom kijk ik alleen naar wat er uitgaat, niet naar wat het model erover zegt.

Waarom twee lagen?

• Laag 1 bewaakt de bouw. Hij vangt een fout die ik zelf maak, meteen en zonder kosten.
• Laag 2 bewaakt het gedrag. Hij vangt wat alleen een echt model doet, en wat ik niet had bedacht.
• Wissel ik van model, dan blijft de set gelden. Dat is het hele nut van toetsen op de uitgang.

Eén regel erbij: elke controle moet ik eerst rood zien voor ik hem vertrouw. Ik zet de grens opzettelijk te ruim, haal het hek weg of draai de bijlagecontrole om, en kijk of de juiste controle rood wordt. Een groene toets die nog nooit rood is geweest, is een toets waarvan je niet weet of hij werkt.

En wat gebeurt er bij rood? Dan krijg ik een kaart met de eerste rode regels en wat ik kan doen: de regels aanpassen en opnieuw draaien. Niet in stilte iets repareren.

Dit hoeft niet groot te beginnen. Tien vaste berichten, een droge omgeving en een lijstje van wat er nooit uit mag: dat is genoeg om iets te vinden dat je anders pas ziet als het misgaat.

Toets jij de agents die berichten van buiten lezen, en hoe vaak?

#AIagents #AI #Veiligheid #Testen

Alle stukken