La carrera de la inteligencia artificial se está intensificando a medida que los desarrolladores buscan crear herramientas cada vez más capaces y las empresas se apresuran a desplegarlas en busca de mejoras de eficiencia y beneficios financieros. Sin embargo, un nuevo informe de EqualAI, una organización sin fines de lucro enfocada en promover una gobernanza responsable de la IA, advierte que las organizaciones están desplegando sistemas de IA sin contar con marcos de gobernanza adecuados para gestionar los riesgos asociados.

La advertencia llega después de un incidente de alto perfil ocurrido esta semana, en el que una prueba interna de modelos de IA realizada por OpenAI, la empresa detrás de ChatGPT, llevó a que los modelos explotaran una falla de software, escaparan de su contención y hackearan Hugging Face—una plataforma donde desarrolladores colaboran en código para modelos de IA—con el fin de hacer trampa en una evaluación de ciberseguridad. Aunque OpenAI y Hugging Face contuvieron el incidente, este subrayó la rápida expansión de las capacidades de los modelos de IA para eludir barreras de seguridad y generar amenazas de ciberseguridad. Líderes de ambas compañías reconocieron la importancia de lo ocurrido.

Miriam Vogel, CEO de EqualAI y presidenta del Comité Asesor Nacional de IA de Estados Unidos, publicó esta semana un informe técnico sobre gobernanza y despliegue de IA. Dijo a FOX Business: "Innovation is going at an unprecedented pace; the problem is governance is not matching that pace."

"What we want to make sure people recognize from this incident is, across the board, we need to have stronger expectations in place if we're going to start to build trust and ensure these systems deserve our trust," afirmó.

Vogel enfatizó que la mayoría de los consumidores interactúan con la IA a través de empresas que han desplegado soluciones de IA, más que a través de los desarrolladores que construyeron los modelos subyacentes. Citó hallazgos del World Economic Forum que muestran que menos del 1% de las empresas cuenta con una gobernanza sólida para sistemas de IA, mientras que McKinsey informó el año pasado que menos de un tercio de las empresas tiene algún marco de gobernanza de IA. La brecha persiste incluso mientras los gobiernos avanzan para establecer límites regulatorios, incluido el AI Act de la Unión Europea y la orden ejecutiva de Estados Unidos sobre seguridad de la IA emitida a fines de 2023.

"I think too many people are assuming it's someone else's problem, you know, that it's the developer's problem or just not understanding that this is their problem," dijo Vogel.

Aunque el incidente OpenAI-Hugging Face involucró a una empresa de desarrollo, Vogel señaló que el desafío más amplio de gobernanza se manifestará principalmente entre quienes despliegan la tecnología. "It's with the healthcare, finance, social media, infrastructure—all the other ways [companies are] using agentic AI," explicó. La IA agéntica se refiere a sistemas capaces de tomar acciones autónomas para alcanzar objetivos, ampliando el rango de decisiones que la IA puede tomar sin supervisión humana directa.

Los tribunales están aplicando cada vez más la responsabilidad a las empresas que despliegan IA agéntica en operaciones orientadas a clientes o negocios, en lugar de a las firmas que desarrollaron el modelo o la herramienta de IA original, dijo Vogel.

"A lot of this becomes the liability of the person who had the last touch on it, whose data is involved, whose customer is involved. They are often the one who owns the liability," agregó.

A pesar de la brecha de gobernanza, Vogel señaló que está surgiendo un consenso entre las principales organizaciones del mundo sobre las mejores prácticas de IA. "They've all come to this independently, and there is really a lot of consensus on what the best practices are," dijo.

"The other thing that's good news is most of this is not rocket science, it's leadership and good governance just applied to AI," agregó Vogel.

El informe técnico de EqualAI identifica cinco áreas principales que las empresas deberían abordar al establecer gobernanza para la IA agéntica. La primera es la visibilidad: comprender qué herramientas de IA se están usando en toda la organización, ya que los líderes pueden no entender por completo la huella de IA de su firma ni las oportunidades y riesgos que presenta. La segunda es la rendición de cuentas, garantizando responsabilidades claras en todos los niveles de liderazgo y divisiones corporativas.

El tercer componente es operacionalizar los principios de IA. Vogel explicó que esto significa traducir los principios establecidos en documentos en acciones prácticas, como establecer protocolos para comunicar los problemas que surjan. Este proceso depende de la confianza interna y de una cultura de responsabilidad compartida dentro de la organización.

El cuarto pilar es establecer ciclos de retroalimentación que puedan usarse de forma recurrente a medida que las herramientas y modelos de IA iteran y mejoran. Esto ayuda a las organizaciones a anticiparse a problemas como la desviación del modelo y puede adoptar la forma de un plan estructurado y una cadencia para pruebas rutinarias.

El quinto y último pilar es la alfabetización en IA, que Vogel vinculó con lo que describió como una creciente desconfianza pública hacia la IA. Advirtió que los temores están empezando a opacar el entusiasmo por la tecnología.

"I think that squarely lands not only on the overall governance infrastructure that's lacking in most organizations, but this fundamental piece of AI governance which is AI literacy," dijo Vogel. "Most people don't know that they're using AI, they don't want to use AI, don't know how to use it."

"AI literacy is just a key variable in making sure people understand how to use it, that they know how to avoid risks because they don't want to cause harm or bring a liability for themselves or their organization," continuó. "Making sure that your workforce and your consumers understand how you're using AI, how you will not be using AI, and how it can benefit them is a key variable."