6 października OpenAI opublikowało na GitHubie 719 prac matematycznych stworzonych przez niewydany wewnętrzny model. Publikacja nastąpiła tydzień po tym, jak organ doradczy samej firmy zaapelował do laboratoriów AI o zaprzestanie testowania zaawansowanych problemów matematycznych na modelach własnościowych. Tygodniowa sekwencja wydarzeń uwidacznia napięcie, które przenika obecnie badania matematyczne napędzane przez AI: laboratoria wykorzystują otwarte problemy do mierzenia postępów modeli, podczas gdy część społeczności matematycznej domaga się ujawnień i klasycznej recenzji naukowej, zanim wyniki generowane przez AI zaczną krążyć.

Ponad 600 odpowiedzi z ankiety ukształtowało wytyczne panelu IAS z 29 września

Grupa Doradcza ds. Matematyki i Sztucznej Inteligenccji, działająca przy Institute for Advanced Study w Princeton w New Jersey, opublikowała swoje rekomendacje 29 września, opierając się na ponad 600 odpowiedziach z ankiety. „Chcemy od początku jasno stwierdzić: nie popieramy tej praktyki i prosimy o zaprzestanie testowania zaawansowanych problemów matematycznych na modelach własnościowych” — napisała grupa w swoich wytycznych.

Ten sam dokument ostrzega, że prywatne modele wewnętrzne grożą utworzeniem systemu dwuszlachetnego, w którym garstka laboratoriów wyprzedzi resztę środowiska.

Zgodnie z informacjami z repozytorium, OpenAI testuje swoje modele na otwartych problemach badawczych w ramach rozwoju modeli i rozszerzyło te testy po nasyceniu istniejących benchmarków matematycznych — momencie, w którym modele osiągają wyniki na poziomie lub blisko maksimum obecnych testów. Firma oświadczyła, że konsultowała się z grupą doradczą i uwzględniła jej rekomendacje przy publikacji. W oświadczeniu z 6 października grupa stwierdziła, że jej rola doradcza nie stanowi „poparcia procesu, w jaki OpenAI je uzyskało”, i pozostawiła ocenę zgodności szerszej społeczności matematycznej.

Kod Lean równań Naviera-Stokesa dowodzi słabszych twierdzeń niż wersja pisemna

OpenAI uporządkowało 719 prac w 372 rodzin matematycznych, z których każda jest zbudowana wokół głównego wyniku i powiązanych dowodów. Własnościowy model otrzymał około 4000 problemów, a każdy wynik wymagał średnio około trzech godzin mocy obliczeniowej ChatGPT Pro w trybie myślenia.

Grupa doradcza zaapelowała do laboratoriów AI o publikowanie dla każdego wyniku nazwy modelu, użytych promptów, podsumowanego łańcucha rozumowania, czasu obliczeń oraz kosztu mocy obliczeniowej. OpenAI opublikowało 10 podsumowań rozumowania, a około 42% najważniejszych wyników posiada formalizacje w Lean. W jakim stopniu publikacja odpowiada tej liście kontrolnej dla każdego wyniku pozostaje jednym z pytań, które grupa pozostawiła społeczności matematycznej.

Lean to język programowania, który pozwala komputerowi sprawdzić dowód. Jeśli kod się kompiluje, nie oznacza to, że kod i pisemny wywód są identyczne; oznacza jedynie, że formalne twierdzenie jest prawdziwe. Konwertowanie pisemnych wywodów na weryfikowalne maszynowo kody w ten sposób nazywane jest przez badaczy autoformalizacją.

Tę rozbieżność zbadano w artykule opublikowanym 6 października autorstwa Alexandra Bastounisa, Fabiana Circellego i Andersa C. Hansena. Autorzy stwierdzają, że pisemna praca OpenAI o równaniach Naviera-Stokesa zawiera silniejsze twierdzenia niż to, co dowodzi jej kod Lean, przy czym jedna z szacunkowych wartości zmienia rząd pochodnych wejściowych. Autorzy wykryli także podobne błędy translacji w dowodzie równań Eulera firmy OpenAI, pisząc, że pisemny dowód OpenAI oraz inne autoformalizowane dowody w Lean „nie powinny być z założenia traktowane jako wiarygodne bez tego samego procesu recenzji i skrupulatnej weryfikacji, jakim poddawane są inne dowody.”

OpenAI ogłosiło wynik dotyczący równań Naviera-Stokesa 8 września. Równania te są przedmiotem jednego z Problemów Milenijnych Clay Mathematics Institute, z których każdy wiąże się z nagrodą 1 miliona dolarów. Matematyk z NYU Tristan Buckmaster zakwestionował następnie opis firmy dotyczący minimalnego udziału człowieka w tej pracy, jak informował Cryptopolitan. Firma zobowiązała się do finansowania warsztatów, konferencji i programów specjalnych związanych z ważnymi wynikami AI. 6 października matematyk Terence Tao napisał, że osoby tworzące prompty do systemów AI często rozwiązują problemy, po czym tracą zainteresowanie dziedziną, dodając, że wiele z nich nie potrafi odpowiadać na pytania ani wygłaszać referatów o powstałych pracach; jego wpis nie wymienił OpenAI z nazwy.

Firma oświadczyła, że jej doradcy nie mają wpływu na tempo prowadzonych badań, jak informował Cryptopolitan we wrześ. Skoro ocena zgodności znajduje się teraz w rękach społeczności matematycznej, wskaźnikami do obserwacji będą to, czy recenzje naukowe potwierdzą czy zakwestionują tłumaczenia z wersji pisemnej na Lean, oraz to, czy przyszłe publikacje będą szczegółowo wykazywać ujawnienia — nazwę modelu, prompty, podsumowane łańcuchy rozumowania, czas i koszt obliczeń — o które grupa apeluje dla każdego wyniku.