Il 6 ottobre OpenAI ha caricato su GitHub 719 articoli di matematica prodotti da un modello interno non ancora reso pubblico. Il rilascio è avvenuto una settimana dopo che il suo stesso organismo consultivo aveva chiesto ai laboratori di IA di smettere di testare problemi matematici avanzati su modelli proprietari. Questa sequenza a una settimana di distanza incornicia la tensione che attraversa oggi la ricerca matematica guidata dall'IA: i laboratori usano problemi aperti per misurare i progressi dei modelli, mentre parti della comunità matematica chiedono trasparenza e peer review convenzionale prima che i risultati generati dall'IA circolino.

Oltre 600 risposte al sondaggio hanno plasmato le indicazioni del 29 settembre del comitato dello IAS

L'Advisory Group on Mathematics and Artificial Intelligence, con sede all'Institute for Advanced Study di Princeton, nel New Jersey, ha pubblicato le sue raccomandazioni il 29 settembre, basate su più di 600 risposte a un sondaggio. "Vogliamo dichiarare fin dall'inizio con chiarezza: non approviamo questa pratica e chiediamo loro di smettere di testare problemi matematici avanzati su modelli proprietari", ha scritto il gruppo in le sue indicazioni.

Lo stesso documento avverte che i modelli interni detenuti privatamente rischiano di creare un sistema a due livelli in cui una manciata di laboratori sopravanza il resto del settore.

Secondo quanto indicato nel suo repository, OpenAI testa i suoi modelli su problemi di ricerca aperti come parte dello sviluppo dei modelli, e ha esteso questi test dopo che i suoi benchmark matematici esistenti sono arrivati a saturazione, cioè il punto in cui i modelli ottengono punteggi al massimo o quasi dei test attuali. L'azienda ha dichiarato di essersi confrontata con il gruppo consultivo e di averne tenuto conto delle raccomandazioni per il rilascio. In una dichiarazione resa il 6 ottobre, il gruppo ha affermato che il suo ruolo consultivo non costituisce "un'approvazione del processo con cui OpenAI li ha ottenuti", lasciando il giudizio sulla conformità alla più ampia comunità matematica.

Il codice Lean di Navier-Stokes dimostra affermazioni più deboli rispetto all'articolo scritto

OpenAI ha organ i 719 articoli in 372 famiglie di matematica, ciascuna costruita attorno a un risultato principale e alle sue dimostrazioni correlate. Il modello proprietario ha ricevuto circa 4.000 problemi, e ogni risultato ha richiesto in media circa tre ore di calcolo con thinking di ChatGPT Pro.

Il gruppo consultivo ha chiesto ai laboratori di IA di pubblicare, per ogni risultato, il nome del modello, i prompt utilizzati, una sintesi della catena di ragionamento, il tempo impiegato e il costo di calcolo. OpenAI ha pubblicato 10 sintesi del ragionamento, e circa il 42% dei risultati principali è dotato di formalizzazioni Lean. Quanto strettamente il rilascio corrisponda a quell'elenco di richieste per ogni risultato è tra le questioni che il gruppo ha lasciato alla comunità matematica.

Lean è un linguaggio di programmazione che consente a un computer di verificare una dimostrazione. Se il codice si compila, questo non significa che il codice e l'argomento scritto siano identici; stabilisce soltanto che l'affermazione formale è vera. Convertire argomenti scritti in codice verificabile dalla macchina in questo modo è ciò che i ricercatori chiamano autoformalizzazione.

Questo divario è stato esaminato in un articolo pubblicato il 6 ottobre da Alexander Bastounis, Fabian Circelli e Anders C. Hansen. Gli autori rilevano che l'articolo scritto di OpenAI su Navier-Stokes afferma più di quanto il suo codice Lean dimostri, con una stima che cambia l'ordine delle derivate degli input. Gli autori hanno inoltre rilevato errori di traduzione simili nella dimostrazione di Eulero di OpenAI, scrivendo che la dimostrazione scritta di OpenAI e le altre dimostrazioni Lean autoformalizzate "non dovrebbero a priori essere considerate attendibili senza lo stesso processo di peer review e lo stesso scrutinio a cui sono sottoposte le altre dimostrazioni".

OpenAI aveva annunciato il risultato su Navier-Stokes l'8 settembre. Le equazioni sono oggetto di uno dei Millennium Prize Problems del Clay Mathematics Institute, ognuno dei quali prevede un premio di 1 milione di dollari. Il matematico della NYU Tristan Buckmaster ha successivamente contestato la descrizione da parte dell'azienda del minimo apporto umano coinvolto nel lavoro, come riportato da Cryptopolitan. L'azienda ha promesso finanziamenti per workshop, conferenze e programmi speciali legati ai principali risultati dell'IA. Il 6 ottobre il matematico Terence Tao ha scritto che chi utilizza prompt con sistemi di IA spesso risolve i problemi e poi perde interesse per il campo, aggiungendo che molti non sono in grado di rispondere a domande o tenere conferenze sul lavoro risultante; il suo post non citava OpenAI.

L'azienda ha dichiarato che i suoi consulenti non hanno alcun peso sul ritmo della sua ricerca, ha riportato Cryptopolitan a settembre. Con il giudizio sulla conformità ora nelle mani della comunità matematica, gli elementi da osservare sono se il peer review confermi o contesti le traduzioni dal testo scritto a Lean, e se i futuri rilasci dettaglino le divulgazioni — nome del modello, prompt, sintesi delle catene di ragionamento, tempi e costo di calcolo — che il gruppo ha chiesto per ogni risultato.