El 6 de octubre, OpenAI publicó en GitHub 719 artículos matemáticos producidos por un modelo interno no lanzado. La publicación llegó una semana después de que su propio órgano asesor pidiera a los laboratorios de IA dejar de probar problemas avanzados de matemáticas en modelos propietarios. Esta secuencia separada por una semana enmarca la tensión que atraviesa ahora la investigación matemática impulsada por IA: los laboratorios usan problemas abiertos para medir el progreso de los modelos, mientras que parte de la comunidad matemática exige divulgación y revisión por pares convencional antes de que los resultados generados por IA circulen.

Más de 600 respuestas a una encuesta moldearon la guía del 29 de septiembre del panel del IAS

El Advisory Group on Mathematics and Artificial Intelligence, con sede en el Institute for Advanced Study de Princeton, Nueva Jersey, publicó sus recomendaciones el 29 de septiembre, basándose en más de 600 respuestas a una encuesta. "Queremos dejar claro desde el principio: no respaldamos esta práctica y les pedimos que dejen de probar problemas matemáticos avanzados en modelos propietarios", escribió el grupo en su guía.

El mismo documento advierte que los modelos internos de propiedad privada corren el riesgo de crear un sistema de dos niveles en el que un puñado de laboratorios deje atrás al resto del campo.

Según su repositorio, OpenAI prueba sus modelos en problemas de investigación abiertos como parte del desarrollo de modelos, y amplió esas pruebas después de que sus puntos de referencia matemáticos existentes se saturaran —el punto en el que los modelos puntúan en o cerca del máximo de las pruebas actuales. La empresa dijo que se coordinó con el grupo asesor y se basó en sus recomendaciones para la publicación. En un comunicado emitido el 6 de octubre, el grupo dijo que su papel asesor no constituye "un respaldo del proceso mediante el cual OpenAI los obtuvo", y dejó el veredicto sobre el cumplimiento a la comunidad matemática en general.

El código Lean de Navier-Stokes demuestra afirmaciones más débiles que el artículo escrito

OpenAI organizó los 719 artículos en 372 familias matemáticas, cada una construida en torno a un resultado principal y sus demostraciones relacionadas. Al modelo propietario se le dieron unos 4,000 problemas, y cada resultado requirió en promedio unas tres horas de cómputo de razonamiento de ChatGPT Pro.

El grupo asesor ha pedido a los laboratorios de IA que publiquen, para cada resultado, el nombre del modelo, los prompts utilizados, una cadena de razonamiento resumida, el tiempo empleado y el costo de cómputo. OpenAI publicó 10 resúmenes de razonamiento, y alrededor del 42% de sus resultados principales incluyen formalizaciones en Lean. Qué tan cerca está la publicación de esa lista de verificación por resultado es una de las preguntas que el grupo ha dejado en manos de la comunidad matemática.

Lean es un lenguaje de programación que permite a una computadora verificar una demostración. Si el código compila, eso no significa que el código y el argumento escrito sean idénticos; solo establece que la afirmación formal es verdadera. Convertir argumentos escritos en código verificable por máquina de esta manera es lo que los investigadores llaman autoformalización.

Esa brecha fue examinada en un artículo publicado el 6 de octubre por Alexander Bastounis, Fabian Circelli y Anders C. Hansen. Ellos encuentran que el artículo escrito de Navier-Stokes de OpenAI afirma más de lo que su código Lean demuestra, y una estimación cambia el orden de las derivadas de entrada. Los autores también detectaron errores de traducción similares en la demostración de Euler de OpenAI, escribiendo que la demostración escrita de OpenAI y otras demostraciones de Lean autoformalizadas "no deben confiar prima facie sin el mismo proceso de revisión por pares y escrutinio al que se someten otras demostraciones".

OpenAI anunció el resultado de Navier-Stokes el 8 de septiembre. Las ecuaciones son objeto de uno de los Problemas del Premio del Milenio del Clay Mathematics Institute, cada uno de los cuales conlleva un premio de 1 millón de dólares. El matemático de la NYU Tristan Buckmaster posteriormente cuestionó la descripción de la empresa sobre la mínima intervención humana involucrada en el trabajo, como reportó Cryptopolitan. La empresa ha comprometido fondos para talleres, conferencias y programas especiales vinculados a importantes resultados de IA. El 6 de octubre, el matemático Terence Tao escribió que las personas que indican instrucciones a los sistemas de IA a menudo resuelven problemas y luego pierden interés en el campo, añadiendo que muchos no pueden responder preguntas ni dar charlas sobre el trabajo resultante; su publicación no mencionó a OpenAI.

La empresa ha dicho que sus asesores no tienen injerencia sobre el ritmo de su investigación, reportó Cryptopolitan en septiembre. Con el veredicto de cumplimiento ahora en manos de la comunidad matemática, los indicadores a observar son si la revisión por pares respalda o cuestiona las traducciones del texto escrito a Lean, y si las futuras publicaciones detallan las divulgaciones —nombre del modelo, prompts, cadenas de razonamiento resumidas, tiempos y costo de cómputo— que el grupo ha pedido para cada resultado.