Op 6 oktober stuurde OpenAI 719 wiskundige papers, geproduceerd door een niet-vrijgegeven intern model, naar GitHub. De publicatie kwam één week nadat het eigen adviesorgaan AI-laboratoria opriep te stoppen met het testen van geavanceerde wiskundeproblemen op propriëtaire modellen. Deze opeenvolging van een week schetst de spanning die momenteel door AI-gedreven wiskundeonderzoek loopt: laboratoria gebruiken open problemen om de voortgang van modellen te meten, terwijl delen van de wiskundige gemeenschap aandringen op openbaarmaking en conventionele peer review voordat AI-gegenereerde resultaten circuleren.

Meer dan 600 enquêtereacties vormden de basis voor de richtlijnen van 29 september van het IAS-panel

De Advisory Group on Mathematics and Artificial Intelligence, gevestigd aan het Institute for Advanced Study in Princeton, New Jersey, publiceerde haar aanbevelingen op 29 september, gebaseerd op meer dan 600 enquêtereacties. "We willen vanaf het begin duidelijk zijn: wij keuren deze praktijk niet goed en we vragen hen te stoppen met het testen van geavanceerde wiskundeproblemen op propriëtaire modellen", schreef de groep in haar richtlijnen.

Hetzelfde document waarschuwt dat privégehouden interne modellen het risico lopen een tweedelingssysteem te creëren waarin een handvol laboratoria de rest van het veld voorbijstreft.

Volgens haar repository test OpenAI zijn modellen op open onderzoeksproblemen als onderdeel van de modelontwikkeling, en breidde het die tests uit nadat de bestaande wiskundebenchmarks verzadigd raakten — het punt waarop modellen op of nabij de top van huidige tests scoren. Het bedrijf zei dat het met het adviesorgaan heeft overlegd en zijn aanbevelingen voor de publicatie heeft gebruikt. In een verklaring van 6 oktober zei de groep dat haar adviserende rol geen "goedkeuring inhoudt van het proces waarmee OpenAI ze heeft verkregen", en liet zij het oordeel over naleving aan de bredere wiskundige gemeenschap over.

De Navier-Stokes Lean-code bewijst zwakkere claims dan het geschreven paper

OpenAI groepeerde de 719 papers in 372 wiskundefamilies elk gebouwd rond een hoofdresultaat en de bijbehorende bewijzen. Het propriëtaire model kreeg ongeveer 4.000 problemen, en elk resultaat vereiste gemiddeld ongeveer drie uur ChatGPT Pro thinking-rekentijd.

Het adviesorgaan heeft AI-laboratoria gevraagd om per resultaat de modelnaam, de gebruikte prompts, een samengevatte redeneerketen, de benodigde tijd en de rekenkosten te publiceren. OpenAI publiceerde 10 redeneringssamenvattingen, en ongeveer 42% van de topresultaten bevat Lean-formaliseringen. Hoe nauwkeurig de publicatie aansluit bij die per-resultaat-checklist is een van de vragen die de groep aan de wiskundige gemeenschap heeft gelaten.

Lean is een programmeertaal waarmee een computer een bewijs kan controleren. Als de code compileert, betekent dat niet dat de code en het geschreven argument identiek zijn; het stelt alleen vast dat de formele stelling waar is. Het op deze manier omzetten van geschreven argumenten in machinecontroleerbare code noemen onderzoekers autoformalisering.

Die kloof werd onderzocht in een paper die op 6 oktober werd gepubliceerd door Alexander Bastounis, Fabian Circelli en Anders C. Hansen. Zij concluderen dat OpenAI's geschreven Navier-Stokes-paper sterkere claims maakt dan wat de Lean-code bewijst, waarbij één schatting de orde van de inputderivaten verandert. De auteurs detecteerden ook vergelijkbare vertaalfouten in OpenAI's Euler-bewijs, en schreven dat OpenAI's geschreven bewijs en andere geautoformaliseerde Lean-bewijzen "niet zonder meer vertrouwd moeten worden zonder hetzelfde peerreviewproces en dezelfde toetsing waaraan andere bewijzen worden onderworpen."

OpenAI kondigde het Navier-Stokes-resultaat aan op 8 september. De vergelijkingen zijn het onderwerp van een van de Millennium Prize Problems van het Clay Mathematics Institute, waar elk een prijs van $1 miljoen aan verbonden is. NYU-wiskundige Tristan Buckmaster betwistte vervolgens de beschrijving door het bedrijf van de minimale menselijke inbreng bij het werk, zoals Cryptopolitan berichtte. Het bedrijf heeft financiering toegezegd voor workshops, conferenties en speciale programma's rond belangrijke AI-resultaten. Op 6 oktober schreef wiskundige Terence Tao dat mensen die AI-systemen aansturen vaak problemen oplossen en daarna hun interesse in het vakgebied verliezen, eraan toevoegend dat velen geen vragen kunnen beantwoorden of lezingen kunnen geven over het resulterende werk; zijn bericht noemde OpenAI niet bij naam.

Het bedrijf heeft gezegd dat zijn adviseurs niets te zeggen hebben over het tempo van het onderzoek, berichtte Cryptopolitan in september. Nu het oordeel over naleving in de handen van de wiskundige gemeenschap ligt, zijn de aandachtspunten of peer review de vertalingen van geschreven teksten naar Lean bevestigt of uitdaagt, en of toekomstige publicaties de openbaarmakingen specificeren — modelna, prompts, samengevatte redeneerketens, timing en rekenkosten — die de groep van elk resultaat heeft gevraagd.