Een agent die niet opschrijft, leert niets

Elke beurt van een agent begint met een lege kop. Wat hij gisteren deed, wat hij toen afwoog en waarom hij iets liet liggen: het is weg, tenzij het ergens staat.

Dat is het hele argument voor een logboek, en het is minder voor de hand liggend dan het klinkt. De meeste mensen denken bij een logboek aan controle: iets om in te kijken als het misgaat. Dat is een deel. Maar het logboek van een agent is vooral zijn geheugen, en daarmee de voorwaarde voor bijna alles waar je agents voor wilt gebruiken: werk overdragen, fouten nakijken, en beter worden.

In dit stuk loop ik door wat erin hoort, waarom je het op het moment zelf opschrijft en niet achteraf, hoe een fout een les wordt, en hoe dat in mijn eigen omgeving samenkomt op één plek. De voorbeelden komen uit mijn boek AI-agenten die het werk doen, uit Het autonome AI-bedrijf en uit het werk met mijn eigen agents.

Niet op schijf, niet gebeurd

In AI-agenten die het werk doen beschrijf ik hoe ik, toen ik voor het boek terugkeek, alles nog had. Elke wijziging met een tijdstempel. Elke taak met de reden erbij. Ruim twaalfhonderd stukjes werk waarvan ik kon nalezen waarom ze bestonden.

En van de eerste vier dagen had ik niets. Niet omdat er iets verloren was. De wijzigingen staan er tot op de minuut. Wat er niet staat, is waarom: geen enkele overweging, geen enkele twijfel, geen enkele keuze met een reden erbij. Er werd in die dagen gebouwd en niet overlegd, en dus schreef niemand iets op. Het waren de vier dagen waarin alles ontstond.

Het gekke is dat ik het toen allemaal wist. Elke keuze had een reden, en die reden was zo vanzelfsprekend dat opschrijven verspilling leek. Je schrijft niet op waarom je links afslaat als je de weg kent. Twee weken later is de weg weg. Niet de route, die staat er nog, maar het landschap eromheen: wat je overwoog, wat je verwierp, waarom dit eerst moest en dat later.

Dat is de meest onderschatte vorm van verlies die er is, omdat je hem niet merkt als hij optreedt. Er gaat niets kapot. Je kijkt alleen over een maand naar je eigen werk en denkt: waarom heb ik dat zo gedaan?

Voor een agent is het niet anders, maar veel scherper. Een mens heeft nog een vaag gevoel bij zijn eigen werk. Een agent heeft niets, behalve wat er staat.

Wat erin komt

Alles wat een agent doet, schrijft hij op, op één plek en in gewone taal. Vier dingen horen erin:

• wat hij zag: de vraag, de bron, het bericht;
• wat hij besloot, met de reden;
• wat hij deed, en wat er toen gebeurde;
• wat hij niet deed, en waarom niet.

Het laatste is het nuttigst. Een agent die een kans laat liggen omdat hij twijfelt of die bij de regels past, moet dat opschrijven. Anders ziet niemand het verschil tussen "niet gevonden" en "bewust niet gedaan". In Het autonome AI-bedrijf heeft dat zelfs een eigen onderdeel, loggen wat níet gebeurde, omdat een log dat alleen laat zien wat er gedaan is, de helft van het verhaal mist.

En de reden is meer waard dan het besluit. Zonder reden kun je een besluit alleen opvolgen of overtreden. Je kunt het niet herzien. Er is afgesproken dat iemand op vaste dagen komt? Staat er alleen dát, dan is het over een half jaar een regel waar niemand meer van weet waar hij vandaan komt. Staat er ook waarom, dan kun je zien of die reden er nog is. In het ene geval heb je een gewoonte, in het andere een besluit dat mee kan bewegen.

Op het moment zelf, niet achteraf

De voor de hand liggende oplossing is het aan het eind doen: aan het eind van de dag, van de week, van het project. Dat werkt niet, om twee redenen die geen kwestie van discipline zijn.

Aan het eind is de helft van het waarom al weg. Je schrijft dan op wat je gedaan hebt, en dat staat meestal al ergens. Wat je niet meer opschrijft is wat je bijna had gedaan en waarom niet, en juist dat vind je later nergens terug.

Er is vaak geen eind. Een dag loopt af zonder afronding. Een project verandert van richting. Een gesprek wordt onderbroken. En zonder eind is er ook geen moment waarop het alsnog gebeurt.

Dus schrijf je het op terwijl het gebeurt. Niet netjes en niet in zinnen die iemand anders mooi vindt. Ruw en aanwezig is oneindig veel meer waard dan verzorgd en er niet. Een reden die je aan het eind van de week opschrijft, is een reconstructie, en die klinkt altijd verstandiger dan het was.

Vier gebruiken, en je hebt ze alle vier nodig

Een goed logboek wordt op vier manieren gebruikt:

1. Overdracht. Een andere agent of een mens ziet waar het werk staat, zonder te vragen. Dat is de enige manier waarop iets zonder jou verder kan.
2. Nakijken. De controleur kijkt niet alleen naar het resultaat maar ook naar hoe het tot stand kwam. Zo'n controle werkt pas als de agent sporen heeft achtergelaten in een vorm die te lezen is.
3. Terugkijken. Over een periode kijk je naar wat vaak gebeurde en wat steeds hetzelfde misging. Dat is geen jacht op schuldigen, maar zoeken naar patronen.
4. Leren. Wat het terugkijken oplevert, gaat terug in de regels van de rol. Dan heb je niet alleen een agent die werkt, maar een die beter wordt.

Het vierde gebruik is waar het logboek van geheugen naar groei gaat. Zonder log leert een agent niets, hoe goed het model ook is, want elke beurt begint opnieuw. Met een log kan een patroon dat vijf keer misging, één regel in de rolkaart worden, en dan gaat het niet voor de zesde keer mis.

Een fout noteer je op het moment dat je hem vindt

Hier hoort een gewoonte bij die ik overal toepas, bij mezelf en bij mijn agents. Vind je tijdens het werk aan A een fout in B, noteer die dan op dat moment, voordat je verdergaat. Ook als je hem niet gaat oplossen.

Niet aan het eind van de sessie, niet "als het relevant blijkt". Een fout die je alleen in een gesprek noemt, is weg zodra het gesprek voorbij is. Een fout die in het logboek van een ander werk staat, is onvindbaar zodra dat werk klaar is. En een sessie die abrupt stopt rondt nooit af, dus "ik noteer het straks" betekent in de praktijk dat het verdwijnt.

Het hoeft niet veel te zijn: wat je zag, waar, en wat je had verwacht. Eén regel op het juiste moment is genoeg, en het onderbreekt je werk niet. Het is een aantekening, geen contextwissel.

Voor een agent is dat nog belangrijker dan voor een mens. Hij gaat niet halverwege een beurt denken "dat moet ik straks nog doen". Hij schrijft het op, of het is weg.

Eén regel: waar was ik

In het boek sta ik ook stil bij het kleinste onderdeel van het logboek, en dat is het meest gebruikte. Boven aan het werk staat één regel: wat je aan het doen bent en wat het volgende is. Iemand die morgen verdergaat, jij, een collega of een andere agent, hoeft dan niet te reconstrueren waar het verhaal was gebleven.

Twee voorwaarden maken die regel bruikbaar. Werk hem bij op het moment dat je ergens anders bent, niet aan het eind, want dan is de helft van het waarom al weg. En haal hem weg als het werk klaar is: een regel die naar afgerond werk wijst, is erger dan geen regel, want de volgende begint aan iets dat niet meer bestaat.

Houd het bij een verwijzing, geen verslag. "Bezig met de offerte voor X, wacht op de prijzen van Y" is genoeg. Wie er meer in zet, houdt het niet bij.

En dit is geen software

Het gaat niet alleen over agents. Een adviseur die alles in zijn hoofd heeft, kan nooit twee opdrachten tegelijk, kan niemand inwerken en kan niet ziek worden. Hij noemt dat ervaring. Het is ook een ontwerpkeuze, en hij heeft hem waarschijnlijk nooit bewust gemaakt.

Een school ontdekt elk jaar opnieuw waar leerlingen struikelen, want het stond nergens. Het probleem is niet dat men het niet weet, maar dat het weten nergens staat.

Waar het bij mij samenkomt

Wat ik hierboven beschreef, loopt bij mij op één plek: mijn eigen Wantzel Studio. Agents, tickets, boeken, mail en de compiler waarmee het is gebouwd staan in één omgeving. De studio is mijn eigen werkplek.

Hoe ziet dat er in de praktijk uit?

Elke agent heeft een rol, op een kaart. Daarop staat wat het doel is, wat het resultaat moet zijn, wie het werk nakijkt en wanneer de agent mij erbij haalt. Een agent die LinkedIn beheert doet iets anders dan een agent die mijn mail beantwoordt, en ze werken elk in hun eigen werkbak met een eigen logboek.

Het werk loopt via tickets. Een ticket zegt wat er moet gebeuren. Wat de agent daarna doet, staat in het ticket: wat hij las, wat hij maakte, wat hij vond. Wil ik 's avonds weten waarom iets zo is gegaan, dan lees ik het terug in plaats van het te raden. Dat geldt ook voor een collega-agent die het overneemt: alles wat hij nodig heeft, staat er al.

Niemand keurt zijn eigen werk goed. Wat een agent maakt, gaat langs een controle voordat het ergens naartoe gaat. Dat geldt voor code, voor teksten en voor berichten naar mensen.

Beslissingen over geld, publiceren en contact met mensen blijven bij mij. Een agent legt een voorstel voor, ik zeg ja of nee, en pas daarna gaat het de deur uit. Dit artikel is er zelf een voorbeeld van: het stond eerst als concept klaar en ging pas live nadat ik het had gelezen.

Elke rol heeft een budget, een plafond en een lijst van wat hij niet doet. Dat maakt het werk rustig. Ik hoef niet te vrezen dat er 's nachts iets gebeurt waar ik niet van wist.

Waarom ik dit zelf bouw? Omdat ik wil kunnen vertrouwen op wat mijn agents doen. Dat lukt het best als ik de hele keten kan zien, van de laagste laag tot het werk dat klaar is. Is één schakel van iemand anders en kan ik er niet in kijken, dan weet ik niet waar ik moet zoeken als er iets misgaat. Meer over de studio staat op wantzel.com. De werkwijzen erachter beschrijf ik in AI-agenten die het werk doen: hoe je agents een rol geeft, hoe je ze laat samenwerken en waar jij als mens op vaste plekken blijft. Elk hoofdstuk heeft een opdracht die je dezelfde avond kunt doen.

Wat je maandag kunt doen

Je hebt geen studio nodig om hiermee te beginnen. Neem één taak die een agent, een automatisering of een collega voor je doet.

1. Staat het waarom ergens? Kies het laatste besluit in dat werk en zoek de reden. Staat alleen de uitkomst er, dan weet je waar je moet beginnen.
2. Zet er één regel boven. Wat is hier gaande en wat is het volgende? Werk hem bij op het moment dat je ergens anders bent.
3. Noteer de volgende fout meteen. Wat je zag, waar, wat je had verwacht. Eén regel.
4. Kijk over een maand terug. Wat gebeurde er vaak? Maak daar één regel in de werkwijze van.

Waar staat bij jou vastgelegd waarom een beslissing in een proces zo is genomen, en kan iemand anders dat lezen zonder jou te bellen?

Alle stukken