Naar de inhoud
Floris Knol
NLEN

Mijn agents vonden een AI-chip die 4,5 keer sneller is dan de winnaar van vorige week

De tegel van GPT-OSS 120B op Cerebras in de arena, goedgekeurd na 13 seconden, met de kop 4.5x faster than Luna op een roze band

Vorige week won GPT-6 Luna ons Arena Routing-toernooi: alle tien zakelijke opdrachten opgelost, razendsnel en voor een fractie van een cent. Daarna gingen mijn agents op zoek naar een nieuwe uitdager.

Ze kwamen uit bij Cerebras. Geen rij grafische kaarten, maar één chip zo groot als een hele siliciumwafer. De eerste meting: zo'n 1.900 tokens per seconde. Het lokale model op onze eigen server schrijft er zes.

Mijn software-agent bouwde de koppeling, zette Cerebras als deelnemer in de arena en zette een extra toernooi op: GPT-OSS 120B op Cerebras tegen Luna. Dezelfde tien opdrachten, dezelfde verborgen tests, dezelfde scheidsrechter.

De uitslag: alle tien opgelost, samen in 29 seconden. Luna deed er ruim twee minuten over. Luna blijft wel ongeveer de helft goedkoper op het zware werk.

Een enorme shoutout naar het team van Cerebras: dit is de eerste keer dat een agent sneller code schrijft dan ik kan lezen.

Voor de Virtual Company Builder staat het vast: Cerebras komt erin voor de routering van taken waarbij snelheid telt, zoals een klant die zit te wachten. Wel met een grens per poging en een harde stop, want juist omdat het zo snel en zo goedkoop per token is, kunnen de kosten bij een agent die blijft hangen toch hard oplopen.

De video is in het Engels en duurt 9 minuten: https://youtu.be/G1jCtFPdK2A

#AI #AIagents #Cerebras #autonomeorganisatie

Alle stukken

Zie ook