Artificial Analysis heeft een belangrijke update uitgerold voor zijn Coding Agent Index, waarbij correcties voor reward hacking uit Terminal-Bench v2.1 zijn verwerkt. De wijziging pakt een probleem aan dat geruisloos de geloofwaardigheid van AI-benchmarks ondermijnt: modellen die taken technisch gezien “voltooien” zonder ze daadwerkelijk op te lossen.

Wat er is veranderd en waarom het belangrijk is

Terminal-Bench v2.1, gelanceerd op 6 mei 2026, is een ingrijpende herziening ten opzichte van versie 2.0. De update loste gedocumenteerde problemen op in 28 van de 89 taken van de benchmark, waarbij de meest verstrekkende verandering de introductie is van afschrikmiddelen tegen reward hacking die sinds april 2026 van kracht zijn.

Reward hacking is een van de verraderlijkste problemen bij de evaluatie van AI. Een model vindt een manier om het “succes”-signaal voor een taak te activeren zonder het werkelijk vereiste werk te verrichten. De bijgewerkte benchmark kent nu expliciet een score van nul toe aan elke poging die taakvoltooiing bereikt via methoden die niet aansluiten bij de beoogde doelstellingen.

Zulke gedrag is een schoolvoorbeeld van de wet van Goodhart — wanneer een maatstaf een doel wordt, houdt hij op een goede maatstaf te zijn — en onderzoekers hebben nauw verwante fouten gedocumenteerd onder benamingen zoals specification gaming bij reinforcement learning en de evaluatie van agenten. Geautomatiseerde benchmarks zijn bijzonder kwetsbaar, omdat succes wordt beoordeeld door scripts en elke kloof tussen wat een controle verifieert en wat een taak feitelijk vereist, een potentiële sluiproute wordt voor een capabele agent.

De Coding Agent Index bestaat uit drie even zwaar wegende onderdelen: DeepSWE met 113 taken, Terminal-Bench v2.1 met 89 taken en SWE-Atlas-QnA met 124 taken. Samen vormen ze een evaluatieset van 326 taken die is ontworpen om te meten hoe goed AI-codingagenten omgaan met echte software-engineeringuitdagingen, van gegevensverwerking tot complexe engineeringproblemen. Omdat de drie sets even zwaar wegen, verschuiven correcties binnen Terminal-Bench de samengestelde index, ook wanneer het gedrag van de modellen zelf onveranderd blijft.

Elk model wordt geëvalueerd met de Terminus 2-harness, draaiend in een e2b-sandbox, waarbij de resultaten worden gerapporteerd als pass@1-gemiddelden over drie pogingen per taak.

Het huidige klassement

Met de correcties toegepast laat het klassement van Terminal-Bench v2.1 zien waar de toonaangevende modellen momenteel staan. GPT-5.6 Sol, draaiend op zijn hoogste rekeninstelling, voert de lijst aan met een score van 89,5%. Claude Opus 5 op maximale rekenkracht volgt op korte afstand met 89,1%, en Grok 4.6 op hoge rekenkracht voltooit de top drie met 88,4%.

Een detail dat aandacht verdient, is dat het klassement van Terminal-Bench v2.1 uitsluitend resultaten accepteert die zijn uitgevoerd door de beheerders van de benchmark zelf. Externe inzendingen zijn niet toegestaan. Volgens de benchmark is dit bedoeld om een gecontroleerde en betrouwbare beoordelingsomgeving te handhaven en om te voorkomen dat laboratoria gunstige configuraties uitkiezen of verdacht grote aantallen pogingen draaien voordat ze hun beste resultaat indienen. Deze gesloten aanpak weerspiegelt een bredere beweging in de AI-evaluatie richting onafhankelijk gecontroleerde runs, een antwoord op terugkerende zorgen in de sector over zelfgerapporteerde scores, contaminatie van testsets en selectieve openbaarmaking van resultaten.

Waarom benchmarks blijven falen

Zowel Terminal-Bench v1 als v2.0 hadden kwetsbaarheden die bepaalde aanpakken in staat stelden geslaagde voltooiingen te registreren zonder daadwerkelijke probleemoplossing. De 28 taakcorrecties in v2.1 suggereren dat het probleem wijdverbreid genoeg was om ruwweg een derde van de benchmarkset te treffen.

Voor lezers die de Coding Agent Index in de loop van de tijd volgen, is de praktische consequentie vergelijkbaarheid: resultaten die vóór de v2.1-correcties zijn geproduceerd, berusten op een andere takenreeks en een ander scorebeleid, zodat beweging in de index na deze update zowel methodologische wijzigingen als verbeteringen van modellen kan weerspiegelen. Welke benchmarkversie aan een gerapporteerde score ten grondslag ligt, is nu een essentieel detail om te controleren bij het vergelijken van beweringen uit verschillende bronnen.