Wat doet je bedrijf als de AI wegvalt? Vijf voorvallen bij een reisbureau

Je agents werken, de klanten krijgen hun antwoord, en niemand denkt erover na wat er gebeurt op de dag dat het model niet meer antwoordt. Meestal komt die dag onaangekondigd, op een gewone dinsdag, en meestal is niet de techniek het probleem maar wat er om de techniek heen niet is afgesproken.

In dit artikel loop je mee met Boomsma Reizen, een klein reisbureau dat rondreizen op maat samenstelt en met een paar AI-agents werkt. Het bureau en de mensen erin zijn verzonnen, de voorvallen zijn dat niet: ze komen voort uit wat ik in echte organisaties tegenkom. Er zijn vijf delen, en elk begint met één voorval en eindigt met iets wat je vandaag kunt doen.

1. Een middag stond alles stil en niemand zag het: waarom uitval stil blijft.
2. De agent die op Fenna's aanmelding draaide: toegang als zwakste schakel.
3. Een reserve die nooit is gebruikt: overschakelen, terugvallen en een plafond.
4. Niemand had iets fout gedaan: het draaiboek voor als het langer duurt.
5. Twee offertes die als van twee bureaus lazen: drift.

Deel 1: Een middag lang stond alles stil en niemand zag het

Het is dinsdagmiddag bij Boomsma Reizen, een klein reisbureau dat rondreizen op maat samenstelt. Joost wacht op een voorstel voor een gezin dat in de zomer naar Noord-Italië wil. De agent die reisvoorstellen opstelt had beloofd dat het er vanochtend zou liggen. De map is leeg. De agent die de klantmail klaarzet, heeft sinds de lunch ook niets meer neergelegd.

Er is geen foutmelding en er brandt geen rood lampje. Het kantoor ziet eruit als op elke andere dinsdag.

Pas als Fenna belt, omdat een rederij nog op antwoord wacht, kijkt eigenaar Anneke Boomsma in de instellingen. Bij de aanbieder van het taalmodel is een limiet bereikt. Sinds het begin van de middag krijgt geen enkele agent nog antwoord. Een hele middag stond het werk stil zonder dat iemand het wist.

De mensen bij het bureau zijn Anneke, Joost, Fenna en hun collega Daan. Ik gebruik het bureau omdat uitval van AI in een gewoon kantoor met gewone deadlines het best te zien is. Een reis heeft een vertrekdatum, en een antwoord dat een dag te laat komt is soms een gemiste boot.

Waarom het zo stil blijft

Een webwinkel die plat gaat, krijgt binnen een minuut klachten. Een agent die ophoudt met antwoorden laat alleen een lege map achter, en een lege map roept niets op. Wie niet weet wat er had moeten liggen, ziet het gat niet.

Daar zitten drie oorzaken onder, die ik in bijna elk bedrijf terugvind.

Het werk is onzichtbaar geworden. Joost opende vroeger elke ochtend zelf zijn concept. Nu ligt het klaar, en zolang het klaarligt kijkt niemand naar het hoe. Als het niet klaarligt, denkt iedereen eerst dat het nog komt.

Niemand heeft de wacht. Een collega die niet komt opdagen valt op. Een agent valt alleen op als iemand toevallig zijn werk nodig heeft.

De tweede weg bestaat alleen in iemands hoofd. Die dinsdag kon het kantoor doorwerken omdat Joost het voorstel zelf kon schrijven, met pen en papier. Dat was geluk, geen plan. Is Joost ziek, of duurt de storing een week, dan weet niemand meer hoe het anders moet.

Wat er die middag stuk was

Anneke zocht eerst uit wat er eigenlijk was uitgevallen, en daar zat de eerste verrassing. De agent voor de voorstellen en de agent voor de klantmail stonden stil. De agent die boekingsbevestigingen naast het voorstel legt werkte gewoon door. Ze had verwacht dat alles tegelijk zou omvallen.

De reden bleek te liggen in iets wat Daan, die één dag per week de koppelingen doet, ooit had samengevoegd om minder te hoeven beheren: de eerste twee agents deelden één aanmelding bij de eerste aanbieder. Eén aanmelding betekent één limiet, en die limiet was vol. De derde agent had een eigen aanmelding bij een andere aanbieder en merkte niets.

Niemand had dat opgeschreven. Het wist alleen Daan, en zelfs hij wist niet meer sinds wanneer.

Uitval is geen enkel ding

Na die middag maakte Anneke een lijstje van alles wat nog meer kan wegvallen. Na een kwartier stonden er zeven regels op. Joost voegde er twee toe. Daan bracht er die middag nog één bij waar Anneke nooit aan had gedacht.

Het lijstje werd een ladder, van kort naar lang. Hoe hoger op de ladder, hoe minder je kunt doen door gewoon te wachten.

• Een trage minuut. Het model antwoordt wel, maar langzaam, en een agent die op een antwoord wacht, wacht mee.
• Een foutmelding die over gaat. De aanbieder heeft het druk, en een tweede poging na een korte pauze lukt.
• Een limiet die vol is. Er is niets stuk: je ruimte voor deze minuut, dit uur of deze maand is op.
• Een storing van een uur of een dag, bij de aanbieder zelf.
• Een sleutel of aanmelding die verloopt, omdat een wachtwoord wijzigt of een abonnement niet is verlengd.
• Een account dat wordt geblokkeerd, bijvoorbeeld na een betalingsprobleem.
• Een model dat verdwijnt, omdat de aanbieder een oude versie uit gebruik neemt.
• Voorwaarden die veranderen, zodat een proces bij die aanbieder niet meer mag of niet meer te betalen is.
• Een prijs die verdubbelt. Zelden uitval genoemd, maar het werkt hetzelfde: wat gisteren loonde, loont niet meer.
• Een netwerk dat wegvalt, waardoor je geen enkele aanbieder meer bereikt.

Het laatste punt vond Anneke het mooist. Als het netwerk van het kantoor uitvalt, kan niemand mailen, en dan staat het bureau ook zonder AI stil. Niet elke regel op de lijst vraagt dus een AI-maatregel. Soms is de uitval van de AI hetzelfde probleem als de uitval van het kantoor.

Kort en lang zijn twee verschillende problemen

Je zou denken dat een lange uitval gewoon een langere korte uitval is. Dat klopt niet.

Bij een korte uitval is het werk uitstelbaar. Je wacht, probeert opnieuw of schakelt automatisch over naar een andere aanbieder. De mensen op kantoor merken er niets van, behalve een melding achteraf. Dat is techniek.

Bij een lange uitval is het werk dat niet meer. Dan moet iemand beslissen wat blijft liggen, wat jullie met de hand doen, wat jullie tegen klanten zeggen en of jullie definitief overschakelen. Dat is organisatie.

Een bedrijf met alleen techniek overleeft het uur maar niet de week. Een bedrijf met alleen een draaiboek mist de agent die in dat eerste uur al had kunnen overnemen. Je hebt beide nodig.

De grens tussen die twee is een tijd, en die kies je zelf. Anneke koos voor de voorstel-agent een half werkuur: komt het model dan niet terug, dan gaat er een melding naar Joost en beslist hij. Welk getal voor jou past, hangt af van de klok in je eigen proces. Bij Boomsma Reizen is dat de vertrekdatum. Bij een webwinkel is het de sluitingstijd van het pakketdepot, bij een accountant de aangiftedatum.

Wie merkt het?

Het nuttigste wat Anneke deed, was bij elke soort uitval de vraag stellen: hoe zou ik dit zien? Het antwoord valt vaak tegen.

Een trage minuut merkt de agent zelf, door een time-out. Een storing bij de aanbieder merkt iedereen tegelijk, zodra de statuspagina rood is of de agents niets meer afleveren. Een geblokkeerd account merkt de eigenaar van het account, als de aanbieder een mail stuurt. Voorwaarden die veranderen merkt degene die de mail leest, en die mail blijft vaak ongelezen.

Bij een limiet die vol is, is het antwoord: niemand. Tenzij de agent zelf een melding stuurt, merkt niemand het tot er een klant belt. Dat is de dinsdagmiddag van Anneke.

Een limiet is ook de enige soort uitval die je kunt zien aankomen. Het is een waarde die jij of je aanbieder heeft ingesteld, en je kunt lezen hoeveel ruimte er per dag of per maand is en hoeveel je hebt verbruikt. Anneke kijkt sinds die dinsdag elke maandagochtend even naar het verbruik van de afgelopen week. Een agent die ineens veel meer gebruikt dan normaal, valt zo vaak op voordat de limiet in zicht is.

::: vandaag Om vandaag te doen

Je hoeft hier geen systeem voor te kopen. Neem een A4 en trek drie kolommen. Zet in de eerste de soorten uitval uit het lijstje hierboven. Schrijf in de tweede wat er in jouw werk stilvalt: welk proces, welke taak, welke agent. Schrijf in de derde hoe je het zou merken.

Laat een regel leeg als je het antwoord niet weet. Staat er bij een van de drie processen waar jouw werk het meest op leunt "niemand, tot het te laat is", dan weet je waar je begint.

:::

Anneke deed na die dinsdag niets spectaculairs. Ze schreef op waar ze op leunde, ze sprak af wie het zou merken en wat er dan gebeurde, en ze probeerde het één keer uit.

Deel 2: De agent die op Fenna's aanmelding draaide

Fenna logt op een donderdag uit bij haar computer. Dat doet ze elke dag. Die dag doet ze het ook in het mailprogramma en in het account bij de aanbieder van het taalmodel, omdat ze daar op een tablet had ingelogd.

Twintig minuten later legt de agent die de klantmail klaarzet niets meer neer, en de voorstel-agent ook niet. Er is geen storing en er is geen limiet bereikt. De aanmelding waarop die agent draaide, was die van Fenna, en ze had hem net afgesloten.

Anneke vraagt hoe dat kan. Daan legt het uit. In het begin wilde hij het snel doen, en dat ging het snelst met een aanmelding die al bestond. Die van Fenna was de eerste die werkte, dus had hij een kopie in de map van de agents gezet.

Zoiets gebeurt in elke organisatie waar iemand een agent snel aan de praat heeft gekregen.

Toegang is de zwakke schakel

Een model valt zelden uit. Een aanmelding die verloopt, wordt ingetrokken of door een collega wordt afgesloten, komt veel vaker voor. Het resultaat is hetzelfde: de agent staat voor een dichte deur, en de klant die op antwoord wacht, hoort niets.

Toegang valt op een handvol manieren weg, en Anneke en Daan vonden alle vijf bij zichzelf.

Een aanmelding die verloopt. Een sleutel heeft een looptijd en een wachtwoord moet elke paar maanden worden vervangen. Staat er geen datum bij, dan loopt hij op een onbekende dag af.

Een kopie op de verkeerde plek. Een sleutel in een instellingenbestand, in een proefmap, in een gesprek in de teamgroep of in een document met belangrijke gegevens. Elke kopie kan lekken, en elke kopie vergeet je te vervangen als de sleutel verandert. Bij Boomsma Reizen bleek er in een vergeten proefmap nog een kopie te staan.

Een persoon als sleutel. De aanmelding hoort bij een mens. Als die uitlogt, van functie wisselt of weggaat, gaat de agent mee. Het komt het vaakst voor in kleine bedrijven, omdat de eerste aanmelding bijna altijd van degene is die de agent opzette.

Eén sleutel voor meer agents. De voorstel-agent en de mail-agent draaiden op één aanmelding. Eén limiet, en beide stonden stil. Eén intrekking, en beide ook. Delen scheelt beheer, en het betekent dat één fout meer agents raakt.

Een sleutel die meer mag dan nodig. Een sleutel waarmee een agent mail kan lezen, versturen en verwijderen, terwijl hij alleen hoeft te lezen. Wie die sleutel in handen krijgt, kan meer dan zou moeten.

De gemeenschappelijke oorzaak: toegang is geregeld op het moment dat het werkte, en daarna nooit meer bekeken. Het is een klus die je een keer doet, op een middag, en daarna elke paar maanden herhaalt.

De inventaris: vijf dingen die je telt

Daan en Anneke namen er een ochtend voor. Ze liepen per agent langs wat hij nodig heeft en schreven het op in een tabel met vijf soorten gegevens.

1. Het proces. Wat gebeurt er, en voor wie? De agent is geen proces: hij voert er een uit.
2. Het model. Welk taalmodel, van welke aanbieder, in welke versie?
3. De toegang. Via welke sleutel of aanmelding, van wie, en waar staat hij? In deze kolom zitten de verrassingen.
4. De bijkomende diensten. Een agent leest mail, haalt gegevens op, schrijft naar een planning. Elke dienst waarvoor hij inlogt, hoort erbij.
5. De eigenaar. Wie weet hoe dit werkt, wie is wakker als het stilvalt en wie mag beslissen?

Daar kwamen twee vragen bij die meer opleverden dan al het andere: wat doet deze agent als het model wegvalt, wachten of stilletjes iets anders doen? En: zou iemand het merken?

Bij twee agents was het antwoord: wachten, en niemand merkt het. Bij de derde was het antwoord een verrassing. Daan had bij de boekingen-agent ooit een terugval ingebouwd naar een kleiner model, zonder melding, en dat stond nergens opgeschreven. Een agent die stilvalt, laat zich zien. Een agent die bij uitval stilletjes iets anders gaat doen, laat zich niet zien, en kan een offerte of een boeking opleveren die er net anders uitziet.

Wat de tabel opleverde

Drie dingen vielen op. Geen ervan lijkt groot. Samen verklaarden ze waarom het kantoor die dinsdag zo stil viel.

Gedeelde toegang. Dat de voorstel-agent en de mail-agent één aanmelding deelden wisten ze inmiddels. Nieuw was dat een kleine kopie van de sleutel van de boekingen-agent ook in dat instellingenbestand van de vergeten proefmap stond.

Een mens als schakel. Het portaal van een van de rederijen vraagt bij het inloggen een code per sms, en die sms gaat naar Fenna's telefoon. Is Fenna op vakantie, dan kan de boekingen-agent niet meer inloggen. Dat is geen AI-afhankelijkheid in strikte zin, maar de agent staat er stil, dus het hoort in dezelfde tabel. Het antwoord is organisatorisch: Fenna en Anneke ontvangen de code allebei.

Een afhankelijkheid van een afhankelijkheid. De klantmail komt binnen via een mailprogramma, en de mail-agent leest dat programma. Het programma laat alleen toe als het wachtwoord klopt dat elke drie maanden verandert. Zodra iemand het wachtwoord wijzigt, valt de agent om, en hij merkt het pas als hij vastloopt.

Wanneer delen mag en wanneer niet

Anneke en Daan maakten van de gedeelde aanmelding een regel in plaats van een verbod.

Delen mag als de agents hetzelfde werk doen, met dezelfde gegevens, voor dezelfde eigenaar. Twee agents die elk een soort mail lezen voor Joost kunnen een sleutel delen. Eén limiet voor beide is dan een keuze die je zelf maakte.

Delen mag niet als een van de agents een andere eigenaar heeft, andere gegevens ziet of belangrijker is dan de andere. De boekingen-agent bewaakt de vertrekdata, en voor hem is stilstand het duurst, want daar loopt de klok. Hij heeft daarom een eigen sleutel, bij een andere aanbieder.

Een tweede stap was een bedrijfsaanmelding in plaats van een persoonsaanmelding: een aanmelding voor het bureau, niet voor Fenna, door Daan beheerd en met Anneke als tweede. Wie de agents aan een persoon hangt, hangt het bedrijf aan een persoon.

Wie is er wakker?

De kolom met de eigenaar lijkt de makkelijkste en is vaak de zwakste. Er staat een naam, en toch weet die persoon niet dat het van hem verwacht wordt. Anneke controleerde drie dingen per naam.

Weet hij het? Zegt Joost dat hij eigenaar is van de voorstel-agent, of heeft Anneke dat voor hem bedacht? Vraag het hardop.

Is hij bereikbaar? Een eigenaar die op dinsdag vrij is, is op dinsdag geen eigenaar. Zet een tweede naam erbij.

Mag hij beslissen? Een eigenaar die moet wachten tot Anneke terug is om een tweede aanbieder aan te zetten, is een melder. Schrijf erbij wat hij zelf mag. Daan mag een sleutel vervangen, Anneke beslist over een uitgave.

Een sleutel vervangen zonder dat het stilvalt

De volgorde is de kern.

Maak eerst een nieuwe sleutel naast de oude. Zet de nieuwe in de agent en laat hem een echte, kleine taak doen. Gaat dat goed, zet dan pas de oude uit. Zoek daarna de kopieën waar de oude nog stond en haal ze weg.

Wie eerst de oude intrekt en dan een nieuwe maakt, heeft een gat waarin alles stilstaat. Wie eerst de nieuwe maakt, heeft een overgang.

Voor de boekingen-agent, waar de klok loopt, staat bovendien een tweede sleutel klaar. Hij wordt bij elke vervanging gebruikt, zodat Daan weet dat hij werkt. Een reserve die je nooit gebruikt, kun je niet vertrouwen.

Hetzelfde geldt bij vertrek. Alles wat aan de naam van iemand hangt die weggaat, krijgt vóór de laatste werkdag een nieuwe eigenaar. Een nieuwe collega krijgt een eigen aanmelding en deelt die van een ander niet. Wie dat laatste doet, bouwt het probleem van Fenna opnieuw.

Een vraag en een script

Daan schreef voor zichzelf een kleine controle die hij elke maand draait. Ze doet één ding: kijken welke agents dezelfde sleutel delen. Het script maakt van elke sleutel een korte afdruk, zodat het de sleutel zelf nooit toont, en meldt welke agents dezelfde afdruk hebben. Wat het niet ziet, zijn sleutels in programma's waarin je zelf inlogde. Daarvoor blijft de vraag: bij welke diensten ben ik ingelogd, met welke aanmelding, van wie?

Dat is te doen zonder programmeerervaring. Neem de lijst van je diensten en loop ze met de hand na, een keer per kwartaal.

::: vandaag Om vandaag te doen

Open een leeg blad en maak een tabel met de vijf kolommen: proces, agent en model, toegang, diensten, eigenaar. Voeg er twee toe: wat doet de agent bij uitval, en wie merkt het. Zet er een regel in voor elk proces waar AI aan meewerkt.

Kijk in de kolom toegang. Staat er een bedrijfsnaam of de naam van een persoon? Elke naam van een persoon is een Fenna die net uitlogt.

Zet bij elke sleutel een vervaldatum, een eigenaar en een vervanger, en vervang er één, in de goede volgorde: eerst de nieuwe, dan pas de oude uit.

Een cel die leeg blijft omdat je het antwoord niet weet, markeer je. Daar begin je morgen. :::

Deel 3: Een reserve die nooit is gebruikt, is een hoop

Op een vrijdagmiddag valt de aanbieder van de voorstel-agent en de mail-agent uit. Het duurt een uur. Eigenaar Anneke Boomsma hoort het van Joost, die haar kamer inloopt met de vraag of de offerte voor de Scandinavië-reis er al is.

Daan, die de computers doet, zit niet op kantoor. Hij heeft een tweede aanbieder wel ooit aangemaakt, met een sleutel in een map en een stukje instelling dat nooit is aangezet. Aan de telefoon zegt hij: "Die staat er. Ik weet alleen niet of hij werkt."

Die zin hoor je in veel kleine bedrijven. De tweede aanbieder is ingericht op een rustige dag, en daarna is er niets meer mee gebeurd. Intussen kan de sleutel zijn verlopen, het abonnement zijn opgezegd of de opdracht te lang zijn geworden voor het andere model.

Wat een goede overschakeling heeft

Overschakelen betekent dat dezelfde opdracht naar een andere aanbieder gaat als de eerste het niet doet. Er zijn vier onderdelen die je kunt afvinken.

Een tweede aanbieder die al verbonden is, met minstens één keer een echt antwoord. Een account dat je pas opent als het nodig is, is te laat. Eén antwoordformaat, want elke aanbieder schrijft anders, dus je vraagt in de opdracht om dezelfde vorm en je controleert die vóór het antwoord verder gaat. Een duidelijke regel wanneer de eerste aanbieder als uitgevallen geldt. En een melding aan een mens, elke keer dat de reserve werkt.

Bij Boomsma Reizen zijn aanbieder A en aanbieder B twee verschillende bedrijven. Dat telt. Twee modellen van dezelfde aanbieder vallen vaak samen uit, op dezelfde plek en met dezelfde sleutel.

Niet bij elke fout wisselen

De eerste ingeving is: zodra er een fout komt, gaat de agent naar de reserve. Dat is te snel. Een agent die bij de eerste foutmelding wisselt, springt heen en weer zodra de eerste aanbieder even hapert, en je krijgt antwoorden van twee kanten door elkaar.

Drie signalen, in volgorde van duidelijkheid. Een foutmelding is het duidelijkst, al moet je letten op het verschil tussen "probeer het straks opnieuw" en "je mag dit niet". Bij het tweede helpt noch opnieuw proberen noch overschakelen: dat is een zaak voor Daan. Daarna komt een limiet: overschakelen werkt tijdelijk, maar het lost niet op waarom de eerste vol zat. Het lastigst is een time-out, want een lang antwoord is niet altijd een mislukt antwoord. Anneke koos voor de voorstel-agent een grens ruim boven de langste offerte die ze ooit zag.

Dus: eerst opnieuw proberen met een pauze die telkens langer wordt en een grens aan het aantal pogingen, en pas daarna wisselen.

Het werk dat halverwege overgaat

De moeilijkste vraag is wat er gebeurt met werk dat al bezig is. De voorstel-agent is halverwege een offerte voor een vriendengroep en de aanbieder valt uit. Er zijn twee antwoorden.

Opnieuw beginnen: de nieuwe aanbieder krijgt de hele opdracht en begint van voren af aan. Het is eenvoudig en het levert één toon op. Anneke koos hiervoor, omdat een offerte kort genoeg is om te herhalen.

Verder gaan waar het stopte: de nieuwe aanbieder krijgt de opdracht plus wat al klaar was. Dat spaart tijd bij lange taken, zoals een nachtelijke controle van alle boekingen, maar je moet tussenresultaten bewaren, en de tekst krijgt twee stemmen.

Wat je in elk geval wilt voorkomen, is dat werk dubbel gebeurt: de eerste aanbieder was toch nog bezig en levert alsnog, terwijl de tweede ook klaar is. Zet bij elke opdracht een nummer en laat de agent alleen het eerste antwoord met dat nummer gebruiken. Bij een offerte is dat een vervelende kleinigheid. Bij een boeking is het een dubbele boeking.

De regel voor de reserve

Wat Daan na die vrijdag instelde, is de saaiste maatregel van het hele verhaal: de tweede aanbieder doet elke week een echte opdracht. Een kleine, echte taak van de agent die hem nodig heeft. Komt het antwoord en klopt de vorm, dan is de reserve levend. Komt het niet, dan weet je dat op een rustige dag in plaats van op een vrijdagmiddag.

De trap

Tussen het beste model en een mens met de hand liggen meer treden dan twee aanbieders. Op diezelfde vrijdag kreeg Daan aan de telefoon aanbieder B aan de praat, en die schreef voor de mail-agent een nette mail. Even later viel ook B weg. Joost keek naar het scherm en zei: "Dan typ ik het zelf wel." Dat deed hij in drie minuten, want hij wist het antwoord.

Er zat nooit een stap tussen het beste model en Joost zelf. Een goede terugval is een trap en geen sprong. Anneke tekende er vier treden in.

1. Het beste model. Wat je normaal gebruikt.
2. Een goedkoper of kleiner model, bij dezelfde of een andere aanbieder. Het denkt minder diep na en maakt vaker een fout. Voor veel mailantwoorden is het ruim voldoende.
3. Een klein model op de eigen computer. Het werkt zonder internet en zonder sleutel van een ander, voor eenvoudig werk: een mail sorteren, een datum uit een bevestiging halen.
4. Een vaste regel. Geen model, maar een sjabloon of tabel. Het kan alleen wat je er vooraf in zette, en het is het enige wat altijd werkt.

Bij elke trede schreef ze twee dingen op. Wat je inlevert: toon, lengte, diepte, nauwkeurigheid. En wat je houdt. Het gezin dat naar de boot vraagt, krijgt van de vaste regel alleen een ontvangstbevestiging, maar leest binnen een minuut dat er iemand mee bezig is. Het kleine model sorteert de binnenkomende mail op vertrekdatum, zodat Joost bij het opstarten weet welke mail het eerst moet. Een deel van het werk blijft doorlopen, en een mens hoeft alleen het moeilijke deel te doen.

Welke taak mag waar landen

Er is geen regel die zegt welke taak bij welke trede hoort. Anneke stelde drie vragen per taak.

Wat kost een fout? Een verkeerde datum in een bevestiging is duur. Een stijve openingszin kost niets. Gaat het werk de deur uit zonder dat een mens het ziet? Wat een klant leest, vraagt meer van het model dan wat Joost eerst bekijkt. En is het uitstelbaar? Een taak die een dag kan wachten, valt niet terug. Terugvallen is voor werk met een klok.

Zo kwam de tabel van de mail-agent eruit. Een klantvraag beantwoorden mag terugvallen tot een goedkoper model, want Joost kijkt mee. Mail sorteren op urgentie mag naar het kleine lokale model. Een ontvangstbevestiging stuurt desnoods de vaste regel.

En een offerte opstellen? Die valt niet terug. Hij wacht op het beste model of gaat naar een mens. Veel lezers verrast dat, maar het is een keuze, en een keuze hoort ergens te staan.

De melding hoort bij elke stap omlaag

De trap heeft een valkuil: elke trede kan het werk doen, dus niemand merkt dat het beste model weg is. Een offerte met de toon van een kleiner model leest voor een klant als een gewone offerte, en voor Anneke als een bureau dat plotseling anders klinkt.

Bij elke stap omlaag hoort daarom een melding aan een mens met drie gegevens: welke trede, wat de agent deed en wat de mens kan nakijken. Zet hem op een plek waar Joost hem ziet. Een melding die verdwijnt in de stroom van andere meldingen, helpt niet.

Terug naar boven is werk

Een trap loopt twee kanten op. Terugkeren gaat niet vanzelf goed, en er zijn twee valkuilen.

Een aanbieder die even terug is en meteen weer uitvalt, laat je agent heen en weer springen. Laat de agent daarom op de lagere trede blijven tot de bovenste enkele keren achter elkaar heeft gewerkt. Hoeveel keren, kies je naar hoe vaak je uitval ziet en wat een wissel kost.

En wat op een lagere trede is gemaakt, moet daarna nog eens worden bekeken. Een lijst met de taken die op een lagere trede zijn gedaan, met een vinkje zodra een mens ze heeft nagelopen, is een goed begin. Wie niets terugkijkt, laat het werk van de trap voor altijd staan.

Een plafond met een gevolg

Dezelfde les gold voor geld. Na de eerste stille middag stelde Anneke een plafond in: elke agent mag per dag een vast aantal verzoeken doen, en daarboven doet hij niets meer. Dat voelde veilig, want een agent in een lus kon de rekening niet meer opblazen.

Een week later zat de voorstel-agent om elf uur 's ochtends aan zijn plafond. Een voorstel voor een treinreis door Scandinavië liep steeds tegen dezelfde fout aan, en de agent probeerde het opnieuw, en opnieuw. Het plafond werkte precies zoals bedoeld. Het bureau had nu ook een agent die de rest van de dag stilstond, en niemand had een bericht gekregen.

Een limiet wordt een storing op het moment dat er werk blijft liggen waar een klok aan hangt. Wie een plafond zet, kiest daarom ook wat er gebeurt als het bereikt wordt, per agent:

• stoppen en melden, voor werk dat kan wachten en voor een agent waarvan je een lus vermoedt;
• terugvallen op een lagere trede en dat melden, voor werk dat met minder kwaliteit door moet;
• doorlaten na akkoord van een mens, voor werk met een klok.

Hoe hoog het plafond moet zijn, staat in geen enkel boek. Het komt uit je eigen verbruik van de afgelopen weken: een gewone dag, de drukste dag, en een plafond ruim daarboven. En geef een agent met een klok een lagere waarschuwing en een hoger plafond dan de rest.

::: vandaag Om vandaag te doen

Kies één taak uit je werk met een klok en schrijf op wat er gebeurt als het model nu wegvalt. Beantwoord de drie vragen: wat kost een fout, gaat het de deur uit, is het uitstelbaar? Bepaal de laagste trede, of schrijf op dat de taak niet mag terugvallen en wie hem dan overneemt. Schrijf per trede op wat je inlevert en wat je houdt. En kies wie de melding krijgt en waar.

Laat daarna je tweede aanbieder een echte, kleine taak doen. Komt er een antwoord in de vorm die je agent nodig heeft, dan heb je een reserve. Komt het niet, dan heb je een hoop, en weet je dat op een rustige dag. :::

Deel 4: Niemand had iets fout gedaan, en toch beloofde Joost iets wat niet kon

Het model valt uit op een vrijdagmiddag, en in het uur daarna gebeurt er bij Boomsma Reizen van alles. Joost ziet dat de agent die de klantmail klaarzet niets meer neerlegt en begint zelf mails te typen. In een mail aan een gezin schrijft hij dat de offerte "vandaag nog" komt. Fenna wacht, want zij ziet het als een zaak van Joost. Daan zit bij een andere klant en leest zijn telefoon pas om vijf uur. Anneke, de eigenaar, is intussen onderweg naar een beurs.

Niemand heeft iets fout gedaan. Er heeft ook niemand besloten. Dus belooft Joost een offerte die de agent zonder model niet kan schrijven, en wacht het gezin op iets wat niet komt.

Het gat dat hier zichtbaar wordt, is het gat tussen techniek en organisatie: de agent weet wat hij bij een korte uitval moet doen, en de mensen weten niet wie wat doet als het langer duurt.

Wat er op papier moet staan

Anneke maakte er na die vrijdag drie dingen van: een handmatig pad, een draaiboek op één bladzijde en een menscheck die in de agents zit in plaats van in iemands hoofd.

Kan het proces nog zonder AI?

Op een andere ochtend, toen alles stilstond, deed Anneke iets wat ze jaren niet had gedaan: ze pakte een vel papier. Ze schreef op wat er die dag moest gebeuren. Joost las mee en vroeg waar de lijst met vertrekdata was. Die zat in de agent die boekingsbevestigingen naast het voorstel legt en de vertrekdata bewaakt. Zonder die agent wist niemand welke reis het eerst wegging. Fenna had een uur nodig om de data uit de mailbox te halen, en in dat uur stond het bureau stil.

Voor elk proces waar een agent aan meewerkt, is er één vraag: kan dit zonder AI? Er zijn drie antwoorden.

Ja, en zo doen we het. Joost schrijft een antwoord aan een klant al jaren met de hand. Het kost meer tijd per stuk, maar het kan.

Ja, maar alleen een deel. Boekingen controleren kan met de hand voor de reizen die snel weggaan, en de rest wacht.

Nee. Het proces kan zonder AI niet meer. Dat is niet erg als je het weet. Het is een risico dat je kent, met een eigenaar en een keuze. Een bureau dat dankzij AI twee keer zoveel offertes maakt, hoeft niet terug naar het oude werktempo. Wel moet iemand het weten en opschrijven. Een risico dat is opgeschreven, is beheerst. Een risico dat niemand kent, is de vrijdagmiddag.

Hoeveel trager is het?

Anneke liet Joost op een rustige middag één offerte voor een rondreis met de hand maken, en nam de tijd op. Het getal is van haar kantoor, dus dat laat ik weg. Waar het om gaat: "het kan niet meer" werd daardoor een keuze met een omvang, want Anneke wist nu hoeveel offertes een dag zonder AI kost.

Het is vooral belangrijk bij taken waar vaardigheid verdwijnt. Een team dat jaren geen offerte met de hand heeft gemaakt, weet niet meer hoe het moet, en een nieuwe collega heeft het nooit geleerd. Het handmatige pad is dan een vaardigheid die je moet onderhouden, zoals een brandoefening.

Drie stapels

Anneke schreef elke taak van het bureau op een briefje en legde de briefjes op drie stapels.

De eerste stapel: wat vandaag door moet. Taken met een klok die vandaag nog loopt, zoals een bevestiging die vanavond verloopt of een klant die morgen vertrekt.

De tweede: wat een paar dagen mag wachten. Een offerte voor een reis over een half jaar, een nieuwsbrief, het opruimen van oude mappen.

De derde: wat mag vervallen. Taken die niemand mist als ze niet gebeuren. Die stapel verrast veel mensen, en de meeste bedrijven hebben er een paar.

Neem de eerste stapel serieus. Bij Boomsma Reizen waren het drie taken: de reizen die de komende dagen vertrekken controleren, klanten bellen als er iets ontbreekt, en een bevestiging van een rederij opvragen. Bij elke taak hoort een naam, een vervanger en, het belangrijkste, de gegevens waarmee hij gedaan wordt.

Dat laatste is het hart van een handmatig pad. Een taak die met de hand kan, maar waarvoor de gegevens alleen in een agent zitten, kan niet met de hand. Daan haalde daarom elke maandag een lijst uit de administratie die Fenna zonder agent kon openen: reizen, vertrekdata en status. Een gewoon bestand, op een plek waar je zonder inloggen bij kunt. Zolang de gegevens zo bereikbaar zijn, heb je een handmatig pad. Zonder lijst heb je een gesprek.

Twee tempo's

Het draaiboek van Boomsma Reizen begint met een onderscheid. Bij korte uitval gebeurt alles automatisch: wachten, opnieuw proberen, overschakelen, terugvallen. Een mens krijgt een melding en hoeft niets te doen. Bij lange uitval beslist een mens, en de agent doet alleen wat in het draaiboek staat voor de tussentijd.

Het punt waar het ene in het andere overgaat, is een tijd. Maar tussen die twee tempo's zit een derde stuk dat vaak vergeten wordt: de minuten waarin de agent al is teruggevallen en nog niemand heeft gekeken. Het draaiboek vult dat met een tijdlijn.

• Vanaf minuut 0, de agent zelf: opnieuw proberen met pauzes, daarna overschakelen naar aanbieder B
• Vanaf minuut 5, de agent zelf: terugvallen op de trede uit de tabel en Joost een melding sturen
• Vanaf minuut 30, Joost: handmatig pad starten en de eerste stapel met vertrekdata oppakken
• Vanaf minuut 120, Anneke: klanten informeren met de vaste zin, een andere aanbieder overwegen
• Vanaf minuut 480, Anneke en Daan: wat niet dringend is gaat uit, de rest wordt herverdeeld

De getallen zijn die van Anneke, bij haar vertrekdata en haar klanten. Voor jouw bedrijf kies je ze met drie vragen: wat is de klok, hoe lang kan een klant wachten, en wanneer wil je er zelf bij zijn?

Onder de tabel staan vier regels: de vaste zin voor klanten, de telefoonnummers van wie bij welke rij hoort, de plek waar het blad ligt als het kantoornetwerk eruit ligt, en de dag waarop het blad voor het laatst is nagekeken. Een draaiboek dat niet is nagekeken, is een gok die er officieel uitziet.

Wat een agent zelf mag

Een agent mag zelf besluiten wat in het draaiboek staat, en niets daarbuiten: wachten en opnieuw proberen, overschakelen naar een aanbieder die vooraf is goedgekeurd en getest, terugvallen tot en met de laagste trede uit de tabel van de taak, en een melding sturen aan degene die aan de beurt is. De lijst is bewust kort. Elke regel erop is een besluit dat iemand van tevoren nam, op een rustige dag.

Wat niet op die lijst staat, beslist een mens. Dat zijn bijna altijd vier soorten. Alles wat de klant raakt: een mail die anders klinkt, een belofte, een uitstel. Alles wat geld kost: een nieuwe aanbieder, een abonnement, een limiet die omhoog moet. Het uitroepen van het handmatige pad, een besluit met één naam. En het weer aanzetten van de agents, met een blik op wat ze op een lagere trede deden.

Een menscheck is een instelling, geen gewoonte

De naam klinkt als een regel die je afspreekt. Het werkt beter als hij een instelling is.

Een gewoonte is: "we kijken altijd even mee als de AI uit is". Dat gaat goed zolang iedereen aanwezig is en het rustig is. Op de vrijdagmiddag uit het begin van dit deel is niemand aanwezig en is het druk.

Een instelling is: "zolang de mail-agent niet op de bovenste trede draait, verstuurt hij niets naar buiten zonder dat Joost het goedkeurt". Hij zit in de agent en gaat aan op het moment dat de agent terugvalt. Als Joost er niet is, staat het bericht klaar tot hij er wel is of tot Anneke het overneemt.

Zo'n instelling heeft drie delen. Wanneer hij aangaat: een gebeurtenis die je kunt aanwijzen, zoals een terugval of een bereikt plafond. Wie hij vraagt en wie daarna: één naam en één vervanger, want een afdeling is niemand. En wat de agent doet als niemand antwoordt: wachten, en niets verzenden. Een agent die na een uur zonder antwoord "dan maar zelf" besluit, heeft de check opgeheven.

Het draaiboek aan de proef

Een blad dat je nooit hebt gebruikt, is een aanname. Daarom trok Daan op een rustige donderdagmiddag de stekker eruit, en hij begon met de sleutel van aanbieder A bij de mail-agent. Anneke en Joost wisten het. Op het scherm stond een testmail van een verzonnen klant. Als alles klopte, zou aanbieder B het overnemen en zou Joost een melding krijgen.

De agent schakelde over en B schreef een nette mail. Alleen de melding kwam niet. Daan zocht en vond het in een instellingenbestand: de melding ging naar een mailadres dat niemand meer las, omdat het nog uit de eerste opzet stamde. Het overschakelen werkte, het melden niet, en dat had niemand geweten tot de dag dat het erop aankwam. Nu wist het bureau het op een rustige middag, en het herstellen kostte een kwartier.

Daarna ging Daan nog verder. Hij zette het goede adres terug en zag de melding aankomen. Daarna zette hij met opzet het verkeerde adres terug om te zien of zijn toets rood werd. Dat laatste slaan mensen over, en dat maakt de toets betrouwbaar.

Een simulatie is veilig als je vijf afspraken houdt. Kies een rustige middag, niet de dag voor een vertrek. Zeg het tegen iedereen, zodat een melding met het woord TOETS erin geen paniek geeft. Gebruik een testtaak die niet de deur uit gaat. Haal één ding tegelijk weg, anders weet je achteraf niet welke de oorzaak was. En houd de stekker bij de hand: schrijf op hoe je terugzet wat je weghaalde.

En stel drie vragen, met een tijd erbij. Merkt iemand het, en na hoeveel minuten, bij wie, met welke tekst? Gaat de reserve werken, en is het resultaat bruikbaar? Komt het werk terug, zonder dat iets onaf of dubbel is gebleven?

Doe er ook een met de mensen. Roep een tijd uit, bijvoorbeeld "het is nu 45 minuten na de uitval, wat staat er op het blad?", en laat Joost vertellen wat hij doet en Anneke wat zij doet, zonder naar de agents te kijken. Je ontdekt dan of het blad bij iedereen op dezelfde plek ligt en hetzelfde zegt. Soms heeft Fenna een andere versie.

::: vandaag Om vandaag te doen

Neem je lijst van processen en zet bij elk: kan het zonder AI, ja, een deel of nee? Leg de taken op drie stapels, met iemand anders uit je team, want ieder ziet andere taken. Kies de drie taken van de eerste stapel en schrijf per taak op wie, met welke gegevens en wie de vervanger is. Zet de gegevens op een plek waar je zonder agent bij kunt.

Schrijf dan één bladzijde: wanneer start dit, wat doet wie, wat zeggen we tegen klanten, wanneer is het voorbij en waar ligt het blad. Print het. Vraag een collega die het niet schreef om te vertellen wat er op een dag als die vrijdag zou gebeuren. Kan hij dat, dan heb je een draaiboek. :::

Deel 5: Twee offertes voor dezelfde reis lazen als van twee bureaus

Joost krijgt een telefoontje van een klant die twee offertes naast elkaar heeft liggen. De ene is van het voorjaar, de andere van nu, allebei voor een rondreis door Noord-Italië, en ze lezen als van twee verschillende bureaus. De tweede is formeler, noemt de annuleringsvoorwaarden niet meer in de eerste alinea en schrijft de aanbetaling anders op. De klant vraagt zich af of er iets in de voorwaarden is veranderd.

Joost moet eerlijk zeggen dat hij het niet weet. Niemand bij Boomsma Reizen heeft iets aangepast. De agent die de reisvoorstellen opstelt draait met dezelfde opdracht als toen.

Wat veranderd is, staat buiten het bedrijf: de aanbieder heeft zijn model bijgewerkt. Dat gebeurt vaak zonder uitval, zonder foutmelding en zonder mail. Het proces draait door en geeft andere antwoorden. Dat heet drift, en het valt niemand op die niet vergelijkt.

Waar drift vandaan komt

Drift is een verandering in wat een agent doet, zonder dat jij iets veranderde. Er zijn drie bronnen, en de eerste is niet de vaakste.

Het model verandert. Een aanbieder werkt een model bij, of laat een naam zonder versie naar een nieuwer model wijzen. Het antwoord op dezelfde vraag klinkt dan anders, is langer of korter of kiest een andere afweging.

Je eigen opdrachten veranderen. Iemand voegt een zin toe aan de opdracht van de voorstel-agent omdat een klant over iets klaagde. Drie maanden later zijn het er twaalf, en niemand weet nog welke zin wat deed. Dit is drift van binnen, en hij is vaker de oorzaak dan een bijgewerkt model.

De wereld verandert. Hotels veranderen van prijs, een rederij schrapt een route. Een agent die nog op oude kennis leunt, geeft antwoorden die vroeger klopten.

Voor de vraag "wat is er veranderd?" heb je bij alle drie hetzelfde nodig: een vaste maatlat waar je het antwoord van vandaag naast legt.

Een vaste set vragen

Die maatlat is een kleine set vragen met antwoorden waarvan je weet dat ze goed zijn. Voor de voorstel-agent zijn het vragen uit offertes die een mens heeft nagekeken. Een voorbeeld van vier:

• Hoe laat vertrekt de veerboot op de eerste dag? In het antwoord moet staan: 20:30.
• Wat kost een aanbetaling bij een rondreis van twee weken? In het antwoord moet staan: 25 procent.
• Mag een klant gratis annuleren na het akkoord? In het antwoord moet staan: annuleringskosten. Er mag niet in staan: gratis annuleren.
• Hoeveel bagage mag er mee op de trein? In het antwoord moet staan: twee koffers.

Vier regels voor zo'n set.

Meet iets dat je kunt controleren. "Het antwoord moet netjes klinken" is geen controle. "Er staat een vertrektijd in en geen andere" is er een. Kies per vraag een woord of getal dat erin hoort, en soms een woord dat er niet in mag.

Kies vragen die ertoe doen. Een afwijking bij de veerboot kost een gemiste boot. Een afwijking in de aanhef kost niets. Maak de set klein genoeg om hem elke week te draaien.

Schrijf de antwoorden zelf. Laat de set niet maken door het model dat je gaat toetsen. Dan toets je het model met zijn eigen mening.

Laat de set groeien met elke fout. Elke keer dat een klant of Joost een fout vindt in wat de agent maakte, gaat de vraag erbij die hem had gevangen.

Tellen in plaats van voelen

Joost kan de set elke maand lezen en zeggen "het voelt anders". Dat is te vaag om op te handelen. Een telling is scherper: de vorige keer waren vier van de vier antwoorden goed, nu twee, en de twee die veranderden zijn de aanbetaling en de annulering.

Daan schreef een klein script dat elke vraag aan het model stelt, kijkt of het gevraagde woord erin staat en het verboden woord er niet in staat, en de uitkomst met de vorige keer vergelijkt. Meer is het niet: een som, geen model.

Bij het uitproberen met een namaakmodel zat er een leerzaam geval in. Het nieuwe model antwoordde op de aanbetaling "een kwart", waar het script "25 procent" zocht. Inhoudelijk hetzelfde, dus een afwijking van de formulering. Bij de annulering zei het nieuwe model "gratis annuleren". Dat is geen formulering. Dat is een fout waar een klant op kan rekenen en die geld kost.

Eerste conclusie: een afwijking is een vraag, geen alarm. Tweede: het onderscheid tussen die twee maakt een mens. Bij een gewijzigde formulering pas je de set aan. Bij een inhoudelijke afwijking op een vraag die geld kost, beslist de eigenaar.

Wat je doet met een afwijking

Vier stappen.

Kijk eerst naar het antwoord zelf: andere formulering of andere inhoud? Kijk daarna in het logboek welke modelversie de antwoorden gaf, en of die veranderde tussen twee draaiingen. Daarom noteert de agent bij elk antwoord op welke modelversie hij draaide: zonder versie kun je het verschil niet verklaren. Besluit dan wie bepaalt wat er gebeurt. Een inhoudelijke afwijking op een vraag die geld kost, gaat naar Anneke. Bij een formulering past Joost de set aan.

En zet vast wat kan. Biedt je aanbieder een versie die je kunt vastzetten, kies die dan voor de agents waar een afwijking duur is. Een vastgezette versie verdwijnt ooit, dus noteer wanneer je hem moet vervangen en draai de set op de nieuwe versie voor je overgaat.

De opdracht als bron

Dezelfde set vangt de drift van binnen. Draai hem na elke wijziging aan de opdracht van een agent, en niet alleen als het model verandert. Een zin die je toevoegde omdat een klant klaagde, mag niet een ander antwoord kapotmaken.

Bij Boomsma Reizen kwam hier iets achter wat Daan niet had verwacht. Toen Anneke wilde weten wat het bureau kwijt zou zijn als de dienst met het klantenbestand en de sjablonen morgen ophield, kon Daan het klantenbestand exporteren en de sjablonen kopiëren. De opdrachten van de drie agents stonden alleen in de instellingen van de agents zelf. Er bestond nergens een tekstbestand van. Wie de agent kwijtraakt, raakt zijn opdracht kwijt, en met de opdracht een jaar aan bijschaven.

Het is een van de weinige onderdelen die echt van jou zijn en toch bij een ander staan. Een agent bestaat uit delen. Het model is van de leverancier. De opdracht, de voorbeeldsets, het logboek, de sjablonen, het klantenbestand en je controles zijn van jou. Samen vormen de opdracht en de set wat jouw agent anders maakt dan dezelfde agent bij een ander bureau: wat jij hem leerde en hoe je weet of hij het nog doet.

De gewoonte die daaruit volgde: elke opdracht staat als tekstbestand op een plek die Daan beheert, met een regel per wijziging over wat er veranderde en waarom. Je past eerst het bestand aan en zet het daarna over naar de agent. Dan is het bestand de bron en de agent de afgeleide. Over drie maanden is die regel het enige wat je nog hebt.

Past de opdracht ook bij een andere aanbieder?

Een opdracht in een bestand is nog geen uitweg. De uitweg is dat je hem hebt zien werken bij een andere aanbieder.

Draai dezelfde set op het model van je tweede aanbieder en lees wat afwijkt. Soms is dat weinig. Soms moet een zin in de opdracht anders, omdat een ander model hem anders leest. Het hoeft niet af. Het is genoeg dat je weet hoeveel werk het is. Een opdracht die op een tweede aanbieder een dag aanpassing kost, geeft je een andere positie dan een opdracht waar je een maand voor nodig hebt, of waarvan je niet weet hoeveel werk het is.

Hoe vaak, en door wie

Bij Boomsma Reizen draait Daans script de set elke nacht en meldt een afwijking aan Joost. Daan draait hem daarnaast met de hand op de dag dat een aanbieder een nieuw model aankondigt.

Heb je geen wacht, zet dan een herinnering in je agenda: elke maand dezelfde vier vragen, tien minuten werk. Wat je aan drift mist, kost meer dan die tien minuten.

::: vandaag Om vandaag te doen

Kies de agent waarvan een fout in zijn antwoord het meest kost. Schrijf vier vragen uit zijn echte werk op, met bij elke vraag een woord of getal dat in het goede antwoord hoort te staan. Laat een mens de antwoorden nakijken die de agent nu geeft. Zijn ze goed, bewaar ze dan als vergelijking. Stel de vragen aan het model dat je nu gebruikt en noteer de datum en de modelversie. Zet een herinnering voor over een maand.

Haal dan de opdracht van die agent uit zijn instellingen en zet hem in een tekstbestand. Dat is een klus van een kwartier, en het is het begin van een uitweg. :::

Waar je begint

Alle vijf de delen komen op hetzelfde neer: een agent die wegvalt is geen technisch incident, maar een gat in wat jullie hebben afgesproken. Kies één proces waar je werk het meest op leunt, schrijf op wie merkt dat het stilvalt, probeer één keer of de reserve werkt, en leg vast wie wat beslist als het langer duurt. Dat kost een middag. Anneke deed precies dat na haar dinsdag, en meer dan dat was het niet.

Wil je dit niet alleen doen, maar samen met mij aan de slag in je eigen organisatie? Dat kan met een Expert Day.

Alle stukken