La siguiente es una columna de opinión de Samuel Vance-Law, director de investigación del Decentralization Research Center, en la que sostiene que, para que las auditorías del acuerdo de IA de la Casa Blanca tengan algún valor, los auditores deberían poder elegir qué prueban.

La semana pasada, seis de las empresas de inteligencia artificial más poderosas del mundo le prometieron a la Casa Blanca que permitirían que terceros revisaran su trabajo.

El 29 de septiembre, Nvidia, OpenAI, Anthropic, Google, Meta y xAI firmaron un acuerdo que cubre los modelos de IA más avanzados, un pacto que el presidente de EE.UU., Donald Trump, calificó de "moralmente vinculante". Cada empresa prometió que "se asociará con un auditor o evaluador externo independiente" y que miembros independientes de su consejo revisarán los informes de los auditores y se asegurarán de que los problemas se corrijan.

Las auditorías externas son una buena idea, y Vance-Law celebra su inclusión. Pero el acuerdo, escribe, no dice nada sobre quién elige a los auditores, qué pueden examinar o si algún hallazgo se hará público — y no hay sanción por ignorarlo. Tal como está, cada empresa elige a su propio auditor y decide qué puede ver ese auditor.

Este panorama recuerda un episodio cautionario de la historia corporativa. En 2000, Enron pagó a la firma contable Arthur Andersen —en su momento parte de las llamadas "Cinco Grandes" de las firmas contables internacionales, hoy las "Cuatro Grandes" tras el colapso de Arthur Andersen— 25 millones de dólares por auditar sus libros y otros 27 millones por trabajos fiscales y de consultoría. En dos años, ambas empresas habían quebrado. El Congreso respondió con la Ley Sarbanes-Oxley de 2002, que le quitó a la administración la elección del auditor —la misma autoridad que el nuevo acuerdo deja en manos de cada empresa de IA—, prohibió a los auditores vender la mayoría de otros servicios a las empresas que auditan y creó un consejo público para supervisar a los propios auditores.

Andersen no falló por falta de experiencia, sino porque carecía de incentivos para examinar con rigor a un cliente que le pagaba 52 millones de dólares en un solo año.

Los compromisos voluntarios en la industria de la IA tampoco tienen un buen historial. En 2023, las principales empresas de IA hicieron una serie de compromisos voluntarios con la Casa Blanca, incluido permitir que expertos externos probaran sus sistemas antes de su lanzamiento. Cuando investigadores de Stanford, Harvard y Brown evaluaron después a 16 empresas frente a esos compromisos, el promedio fue de 53%. En la promesa de ayudar a terceros a encontrar y reportar problemas, ocho de las 16 obtuvieron cero.

Incluso cuando sí ocurren pruebas externas, el desarrollador fija las condiciones. METR, una organización sin fines de lucro que evalúa modelos de IA, escribió que su prueba del modelo o3 de OpenAI antes de su lanzamiento se "llevó a cabo en solo tres semanas", con "acceso limitado a información sobre el modelo" y sin visión del razonamiento paso a paso del modelo. Para ser justos conAI, permitió la prueba desde el principio — pero el episodio muestra cuánto depende de lo que una empresa decida compartir.

Un modelo de IA entrenado es esencialmente un archivo de números muy grande, que a menudo cuesta más de 100 millones de dólares producir, y quien tenga una copia tiene el modelo. Entregar copias a terceros es un riesgo de seguridad. Hasta hace poco, eso dejaba a los evaluadores ante una elección incómoda, que Google DeepMind ha descrito bien: o los evaluadores entregan sus preguntas, y la empresa ve el examen por adelantado, o la empresa entrega su modelo.

En agosto, DeepMind mostró una salida a ese dilema. Trabajando con el AI Safety Institute de Singapur y otros tres grupos externos, realizó lo que llamó la primera prueba doble ciego del mundo de un modelo de IA, con el mismo principio de un ensayo de fármacos doble ciego. La prueba se ejecutó en hardware informático sellado, de modo que los evaluadores externos nunca vieron el modelo y Google nunca vio sus preguntas. Google afirma que cada parte puede verificar matemáticamente que su material se mantuvo privado.

El enfoque también traslada la confianza al propio hardware. El año pasado, investigadores lograron vulnerar este tipo de hardware sellado con equipos de menos de 1,000 dólares, aunque necesitaron acceso físico al servidor para hacerlo. Eso merece tomarse en serio, pero es un problema mucho menor que "no podemos dejar que nadie se acerque al modelo", y puede gestionarse cuidando quién controla las máquinas.

El argumento se basa en el informe "Alternatives to Concentrated AI", publicado esta semana por el Decentralization Research Center. Para el informe, Vance-Law y su coautor Kyle Bligen entrevistaron a 36 personas y mapearon casi 30 alternativas funcionales al control concentrado de la IA. Su hallazgo principal: ahora los terceros pueden examinar la IA avanzada sin tomar posesión del modelo ni de sus datos.

Si las auditorías del acuerdo van a tener algún valor, argumenta Vance-Law, los auditores deberían elegir qué prueban, ahora que pueden hacerlo sin quedarse con una copia del modelo. Las empresas también deberían decir quiénes son sus auditores y qué cubrieron las auditorías, incluso si los hallazgos detallados permanecen privados — las empresas públicas han nombrado a sus auditores durante décadas sin regalar secretos comerciales. Y los comités del consejo que lean estos informes deberían responder ante alguien fuera de la empresa. Sarbanes-Oxley creó un inspector de los inspectores. El acuerdo no tiene nada parecido, y el Congreso debería decidir qué llena ese vacío.

Nota: Las opiniones expresadas en esta columna son las del autor y no necesariamente reflejan las de CoinDesk, Inc. o sus propietarios y afiliados.