Am 6. Oktober stellte OpenAI 719 mathematische Papiere eines nicht freigegebenen internen Modells auf GitHub bereit. Die Veröffentlichung erfolgte eine Woche nachdem das eigene Beratungsgremium KI-Labore aufgefordert hatte, das Testen fortgeschrittener mathematischer Probleme an proprietären Modellen einzustellen. Dieser Abstand von einer Woche verdeutlicht die Spannung, die derzeit die KI-getriebene mathematische Forschung durchzieht: Labore nutzen offene Probleme, um den Fortschritt ihrer Modelle zu messen, während Teile der mathematischen Fachgemeinschaft Offenlegung und konventionelles Peer-Review fordern, bevor KI-generierte Ergebnisse zirkulieren.

Mehr als 600 Umfrageantworten prägten die Leitlinien des IAS-Gremiums vom 29. September

Die Advisory Group on Mathematics and Artificial Intelligence mit Sitz am Institute for Advanced Study in Princeton, New Jersey, veröffentlichte ihre Empfehlungen am 29. September auf Grundlage von mehr als 600 Umfrageantworten. „Wir möchten von Anfang an klarstellen: Wir billigen diese Praxis nicht, und wir fordern sie auf, das Testen fortgeschrittener mathematischer Probleme an proprietären Modellen einzustellen“, schrieb die Gruppe in ihren Leitlinien.

Dasselbe Dokument warnt, dass privat gehaltene interne Modelle die Gefahr eines zweistufigen Systems bergen, in dem einige wenige Labore den Rest des Feldes überholen.

Laut seinem Repository testet OpenAI Modelle im Rahmen der Modellentwicklung an offenen Forschungsproblemen und weitete diese Tests aus, nachdem seine bestehenden Mathematik-Benchmarks gesättigt waren – der Punkt, an dem Modelle bei aktuellen Tests an oder nahe der Spitze liegen. Das Unternehmen erklärte, es habe sich mit dem Beratungsgremium ausgetauscht und dessen Empfehlungen für die Veröffentlichung berücksichtigt. In einer Erklärung vom 6. Oktober erklärte die Gruppe, ihre beratende Rolle stelle keine „Billigung des Prozesses dar, durch den OpenAI diese erlangt hat“, und überließ das Konformitätsurteil der breiteren mathematischen Fachgemeinschaft.

Der Navier-Stokes-Lean-Code beweist schwächere Aussagen als das schriftliche Papier

OpenAI gliederte die 719 Papiere in 372 mathematische Familien, die jeweils um ein Hauptergebnis und die zugehörigen Beweise aufgebaut sind. Das proprietäre Modell erhielt rund 4.000 Probleme, und jedes Ergebnis erforderte im Durchschnitt etwa drei Stunden Rechenleistung im Denkmodus von ChatGPT Pro.

Das Beratungsgremium hat KI-Labore aufgefordert, für jedes Ergebnis den Modellnamen, die verwendeten Prompts, eine zusammengefasste Gedankenkette, die benötigte Zeit und die Rechenkosten zu veröffentlichen. OpenAI veröffentlichte 10 Reasoning-Zusammenfassungen, und etwa 42 % der wichtigsten Ergebnisse verfügen über Lean-Formalisierungen. Wie genau die Veröffentlichung dieser Checkliste pro Ergebnis entspricht, gehört zu den Fragen, die die Gruppe der mathematischen Fachgemeinschaft überlassen hat.

Lean ist eine Programmiersprache, mit der ein Computer einen Beweis überprüfen kann. Wenn der Code kompiliert, bedeutet das nicht, dass der Code und die schriftliche Argumentation identisch sind; es stellt nur fest, dass die formale Aussage wahr ist. Die Überführung schriftlicher Argumente in maschinenprüfbaren Code auf diese Weise bezeichnen Forscher als Autoformalisierung.

Diese Lücke wurde in einem am 6. Oktober veröffentlichten Papier von Alexander Bastounis, Fabian Circelli und Anders C. Hansen untersucht. Sie stellen fest, dass OpenAIs schriftliches Navier-Stokes-Papier stärkere Aussagen macht als sein Lean-Code beweist, wobei eine Schätzung die Ordnung der Eingangsableitungen verändert. Die Autoren entdeckten auch ähnliche Fehlübersetzungen in OpenAIs Euler-Beweis und schrieben, dass OpenAIs schriftlicher Beweis und andere autoformalisierte Lean-Beweise „nicht ohne weiteres vertraut werden sollte, ohne denselben Peer-Review-Prozess und dieselbe Prüfung zu durchlaufen, denen andere Beweise unterzogen werden.“

OpenAI gab das Navier-Stokes-Ergebnis am 8. September bekannt. Die Gleichungen sind Gegenstand eines der Millennium-Probleme des Clay Mathematics Institute, die jeweils mit 1 Million US-Dollar dotiert sind. Der NYU-Mathematiker Tristan Buckmaster bestritt anschließend die Darstellung des Unternehmens minimalen menschlichen Beitrag an der Arbeit, wie Cryptopolitan berichtete. Das Unternehmen hat Mittel für Workshops, Konferenzen und Sonderprogramme im Zusammenhang mit wichtigen KI-Ergebnissen zugesagt. Am 6. Oktober schrieb der Mathematiker Terence Tao, dass Personen, die KI-Systeme mit Prompts bedienen, Probleme häufig lösen und danach das Interesse an dem Fachgebiet verlieren; viele könnten Fragen zu dem Ergebnis nicht beantworten oder darüber Vorträge halten, schrieb er. Sein Beitrag nannte OpenAI nicht.

Das Unternehmen hat erklärt, seine Berater hätten keinen Einfluss auf das Tempo seiner Forschung, wie Cryptopolitan im September berichtete. Da das Konformitätsurteil nun in den Händen der mathematischen Fachgemeinschaft liegt, sind die entscheidenden Indikatoren, ob das Peer-Review die schriftlichen Lean-Übersetzungen bestätigt oder infrage stellt, und ob künftige Veröffentlichungen die geforderten Angaben pro Ergebnis im Einzelnen ausweisen – Modellname, Prompts, zusammengefasste Gedankenketten, Zeitaufwand und Rechenkosten.