Een goed model maakt een agent nog niet betrouwbaar
Stel: je vraagt een agent om een document samen te vatten. Het model begrijpt de opdracht prima. Maar het gereedschap dat hij kan gebruiken geeft hem ook toegang om bestanden te verwijderen of berichten te versturen.
Dan zit het risico niet alleen in wat het model begrijpt. Het zit ook in de rechten van het gereedschap en in de omgeving waarin de agent werkt.
Ik kijk daarom naar het geheel: het model, de instructies en grenzen, de gereedschappen en de omgeving. Een fout op één plek kan het gedrag van de hele agent veranderen.
Bij mijn eigen agents zie je dat terug in kleine keuzes. Een agent die op WhatsApp antwoordt, heeft in die beurt geen gereedschap. Een agent die mail van onbekenden leest, mag alleen lezen. Een agent die een server bestelt, doet dat binnen een plafond en na een ja van een mens. De grens zit in wat de agent kán, niet in wat hij beloofd heeft.
Je kunt dit vandaag nalopen. Schrijf voor één agent op wat hij technisch kan aanraken: welke bestanden, welke berichten, welke systemen. Streep door wat hij voor zijn taak niet nodig heeft. Wat overblijft, is de echte grootte van je risico.
Welk onderdeel zou jij als eerste controleren bij een agent die je bouwt?
Bron: het onderzoek van Anthropic naar betrouwbare agents (Trustworthy agents).