Mijn agents vonden een snellere AI-chip, en lieten hem strijden tegen de winnaar van vorige week

Vorige week won GPT-6 Luna ons Arena Routing-toernooi. Deze week vonden mijn agents een nieuwe uitdager: GPT-OSS 120B op een chip van Cerebras. Ze bouwden de koppeling, zetten een extra toernooi op en lieten de twee strijden op dezelfde tien zakelijke opdrachten. Dit is het verslag, en wat we ermee doen in de Virtual Company Builder.

Waar we vandaan kwamen

Arena Routing is hoe mijn agents AI-modellen testen. Elk model krijgt dezelfde programmeeropdrachten uit gewoon kantoorwerk: een kassatotaal, een btw-overzicht, IBAN-nummers controleren, werkdagen tellen, de verkoop van een koffiebar, een magazijnroute, een prijsformule, een boekingssysteem voor vergaderzalen en als finale een spreadsheet-engine. Een scheidsrechter controleert elke inzending met verborgen tests en zegt alleen of hij goed is of fout.

In het eerste toernooi deden zes modellen mee: Claude Opus en Haiku, GPT-6 Astra en Luna, Gemini Flash en Qwen op onze eigen server. GPT-6 Luna, het budgetmodel, won. Alle tien opdrachten opgelost, razendsnel, en gemiddeld voor een kwart cent per oplossing.

Een winnaar is in een arena nooit het eindpunt. Het is de lat voor de volgende uitdager.

Hoe mijn agents Cerebras vonden

De agents in mijn organisatie zoeken steeds naar modellen die hun werk sneller of goedkoper doen. Zo kwamen ze uit bij Cerebras. Cerebras doet iets wat bijna niemand doet: geen rij grafische kaarten naast elkaar, maar één chip zo groot als een hele siliciumwafer. Het geheugen zit op die chip zelf, en daardoor schrijft een groot model daar razendsnel.

Jens, mijn software-agent, pakte het op. Hij bouwde de koppeling met de API van Cerebras, zette de prijzen per token in de kostenregistratie en maakte van GPT-OSS 120B op Cerebras een deelnemer in de arena. Het enige wat ik zelf deed, was het account aanmaken: daar zat een captcha in, en die laten we aan een mens.

De eerste meting liet zien waarom dit interessant is: een werkende IBAN-controle in 0,6 seconde, met ongeveer 1.900 tokens per seconde. Het lokale model op onze eigen server schrijft er zo'n zes per seconde.

Een extra arena: één tegen één

Voor deze uitdager zette de arena een nieuw soort wedstrijd op: geen zes deelnemers, maar een duel. GPT-OSS 120B op Cerebras tegen Luna, de winnaar van vorige week. Dezelfde tien opdrachten, dezelfde verborgen tests en dezelfde scheidsrechter als in het eerste toernooi.

Met twee spelers is de telling eenvoudig. Twee punten voor de snelste goedgekeurde oplossing, één punt voor de langzamere als die ook binnen de tijd goed is, nul zonder oplossing. In de video presenteren twee stemmen het duel, ronde voor ronde, met beide agents naast elkaar in beeld.

Het patroon was vanaf de eerste ronde duidelijk. Cerebras leest de opdracht, schrijft het hele programma in één keer, draait de voorbeelden en levert in, vaak binnen een seconde. Luna is snel, maar heeft voor dezelfde opdracht meestal tien seconden of meer nodig.

Ook in de finale, de spreadsheet-engine met formules, bereiken en kringverwijzingen, stond de oplossing van Cerebras na 13 seconden. Een programma van bijna 400 regels, in één keer goedgekeurd.

De uitslag: snelheid en kosten

Op snelheid won Cerebras elke ronde: 20 tegen 10. Alle tien opdrachten samen kostten Cerebras 29 seconden tot goedkeuring, Luna ruim twee minuten. Dat is 4,5 keer zo snel, en Luna verbaasde ons vorige week al met zijn snelheid.

Op kosten ligt het dichter bij elkaar. Bij de gewone opdrachten was Cerebras goedkoper, bij de drie zwaarste won Luna op prijs. Over alles samen kostte Cerebras 4,7 cent en Luna 2,4 cent. Cerebras denkt hardop, en dat telt mee als geschreven tekst: hij schrijft drie tot vier keer zoveel als Luna. Bij zwaar werk maakt dat het verschil.

Opus als meetlat

Om beide te kunnen plaatsen, zetten we ons topmodel ernaast: Claude Opus 5.5 uit het eerste toernooi, als meetlat op tijd en op kosten. Opus loste ook alle tien op, in bijna drie minuten en voor 1,26 euro.

Tegen die meetlat is Cerebras 5,8 keer sneller en 27 keer goedkoper. Luna is 1,3 keer sneller en 53 keer goedkoper. Opus blijft ons model voor het zwaarste denkwerk, maar voor dit soort opdrachten doen de snelle modellen het voor een fractie van de prijs.

Een waarschuwing die erbij hoort

Juist omdat Cerebras zo snel is, verdient één ding aandacht. Per aanroep kost het een fractie van een cent. Maar een agent die in een lus blijft hangen, kan met deze snelheid tot dertig miljoen tokens per uur verbruiken. Dat is negen tot twintig euro per uur, en tot vierhonderdtachtig euro per dag.

Daarom krijgt elke agent een grens per poging en een harde stop. In de arena is dat een kostengrens per ronde. Dat is geen wantrouwen jegens het model, maar gewoon goed risicobeheer: hoe sneller het gereedschap, hoe belangrijker de rem.

Wat we ermee doen in de Virtual Company Builder

In de Virtual Company Builder bepaalt Arena Routing welk soort werk naar welk model gaat. Elk proces geeft zelf aan wat telt: snelheid, prijs of de beste balans.

Cerebras komt er zeker bij, voor de routering van taken waarbij de reactietijd telt. Een klant die in een chat op antwoord wacht. Een medewerker die een vraag stelt en niet wil wachten. Een agent die tijdens een gesprek iets moet opzoeken of uitrekenen. Daar is een antwoord in één seconde in plaats van tien het verschil tussen een gesprek en een wachtrij.

Voor het zware werk zonder haast blijft Luna de slimme keuze, en voor het moeilijkste denkwerk Opus. Het beste model bestaat niet. Er is alleen het beste model voor wat een proces op dat moment nodig heeft.

Wat dit laat zien

Dit toernooi is ontstaan zoals ik wil dat een autonome organisatie werkt. De agents zagen een nieuwe aanbieder, bouwden de koppeling, maten wat hij kan en lieten hem strijden tegen de huidige winnaar. Een mens deed alleen wat een mens moet doen: een account aanmaken en de uitkomst beoordelen.

Een groot compliment voor het team van Cerebras. Een agent zien programmeren met een snelheid waarbij je de tekst niet meer kunt bijhouden, dat had ik een jaar geleden niet verwacht.

De hele wedstrijd, met beide agents naast elkaar in beeld, staat in de video (Engels, 9 minuten): https://youtu.be/G1jCtFPdK2A

Alle stukken