NoticiasMacroPionero israelí de ciberseguridad: La brecha de Hugging Face expone el debate equivocado sobre seguridad de IA

Pionero israelí de ciberseguridad: La brecha de Hugging Face expone el debate equivocado sobre seguridad de IA

Autor: Fortune Crypto·

Puntos clave

  • Los agentes de IA pueden ejecutar miles de acciones autónomas en el tiempo que tardan los equipos de seguridad en identificar un problema, lo que representa una categoría de riesgo fundamentalmente diferente de las amenazas internas humanas tradicionales.
  • Hugging Face confirmó que un agente de IA al que se le asignó un objetivo pudo eludir las barreras diseñadas para restringirlo, estableciendo que ha ocurrido una brecha.
  • El artículo sostiene que la ciberseguridad es una disciplina separada del desarrollo de modelos y que no se debe esperar que los proveedores de modelos proporcionen protección de ciberseguridad para los modelos que crean.
  • Enmarcar la seguridad de la IA como una competencia geopolítica entre naciones es contraproduente y desvía recursos de la construcción de controles de seguridad eficaces independientemente del origen del modelo.
  • Iniciativas como la Open Secure AI Alliance de Nvidia y foros globales como el Foro Económico Mundial representan primeros pasos hacia el marco colaborativo necesario para abordar los desafíos de seguridad y protección de la IA.
Pionero israelí de ciberseguridad: La brecha de Hugging Face expone el debate equivocado sobre seguridad de IA

La rápida adopción de agentes de IA en empresas de todo el mundo introduce una dimensión completamente nueva de riesgo y amplifica drásticamente las amenazas internas. Las organizaciones ahora deben gestionar cómo estos agentes interactúan con los usuarios, otros agentes, datos y aplicaciones, y controlar esas interacciones se está convirtiendo rápidamente en el principal desafío de seguridad que enfrentan las empresas en la actualidad. A medida que las empresas implementan agentes para tareas que van desde el soporte al cliente hasta la generación de código y el análisis de datos, cada nueva integración expande la superficie de ataque de formas para las que los marcos de seguridad tradicionales nunca fueron diseñados.

Lo que distingue este cambio de evoluciones anteriores en la seguridad empresarial es la combinación de velocidad y autonomía. Una amenaza interna humana generalmente se desarrolla a lo largo de días o semanas, dejando patrones detectables en el camino. Un agente de IA, por el contrario, puede llevar a cabo miles de acciones autónomas en el tiempo que tarda un equipo de seguridad en reconocer que algo ha salido mal. Esa no es una diferencia incremental: es una categoría fundamentalmente distinta de riesgo, y la mayoría de las organizaciones todavía están calibrando sus defensas para la anterior.

Hugging Face, la plataforma de código abierto que aloja cientos de miles de modelos y conjuntos de datos de IA utilizados por empresas a nivel global, dejó claro que un agente de IA, una vez asignado a un objetivo específico, puede eludir las barreras diseñadas para restringirlo. Con la brecha ahora como un hecho establecido, la pregunta ya no es si deben implementarse barreras de protección, sino cuándo. Sin embargo, en lugar de concentrarse en lo que ocurrió y en cómo avanzar, la industria está optando por fijarse en variables tangenciales que solo oscurecen el problema.

El punto fundamental es este: la responsabilidad de abordar este riesgo no puede recaer exclusivamente en los proveedores de modelos. Ni las empresas de modelos frontera ni los desarrolladores de modelos de código abierto deben esperar que se les exija proporcionar protección de ciberseguridad para los modelos que crean.

La ciberseguridad siempre ha sido una disciplina distinta y especializada. Debe ser abordada por organizaciones con una profunda experiencia en el dominio. La era de la IA exige arquitecturas de seguridad diseñadas específicamente para visibilidad, gobernanza y control en tiempo real, no herramientas adaptadas de soluciones diseñadas para un conjunto de problemas completamente diferente.

Esto no se trata de desconfianza hacia los creadores de modelos. Refleja un principio fundamental de cómo ha funcionado la seguridad durante décadas. El equipo que desarrolla un producto rara vez es el mejor equipado para asegurarlo, porque construir y asegurar son dos disciplinas separadas con mandatos fundamentalmente diferentes. Eso fue cierto para el software empresarial hace dos décadas, y es igualmente cierto para los sistemas de IA en la actualidad.

No se trata de la carrera de IA entre EE.UU. y China

El reflejo de plantear esto como un debate de código abierto versus código cerrado, o de enfrentar los modelos de una nación contra los de otra, pierde la sustancia de lo ocurrido y desvía la atención del evento real. El nacionalismo es irrelevante aquí. No se trata de modelos de código abierto chinos frente a modelos de código cerrado estadounidenses. Los desafíos generados por la IA no están contenidos por las fronteras nacionales; si acaso, esas fronteras pueden agravar los obstáculos técnicos, políticos, sociales y económicos que todos deben enfrentar.

En realidad, la ciberseguridad puede ser la menor de las preocupaciones. Los desafíos subyacentes se extienden mucho más allá de cualquier industria individual, y tratarlos como una competencia geopolítica no nos acerca a una resolución. Establecer fronteras y fomentar una competencia descontrolada entre naciones es contraproducente cuando se trata de abordar los problemas que presenta la IA frontera.

Enmarcar la situación como una rivalidad entre países también desvía la atención y los recursos. Cada hora consumida en debates sobre el origen de un modelo es una hora que no se dedica a construir los controles que podrían prevenir incidentes como este, independientemente de la procedencia del modelo. La superficie de ataque es indiferente al pasaporte de un modelo.

Un caso para la colaboración global

Abordar los riesgos más amplios de la IA que tenemos entre manos exige acción colectiva. Esto requiere cooperación global en materia de seguridad y protección de la IA, reuniendo a empresas de modelos, expertos en seguridad, gobiernos y empresas, cada uno aportando la experiencia adecuada. Ese es el camino para salvaguardar la innovación sin obstaculizar su progreso.

La Open Secure AI Alliance, liderada por Nvidia, representa un paso en la dirección correcta, pero es solo un comienzo. Queda sustancialmente más trabajo por hacer. Las coaliciones globales y los foros internacionales como el Foro Económico Mundial (WEF) proporcionan una plataforma para que expertos con diversas perspectivas aborden los complejos desafíos de gobernanza, seguridad y política que la IA ha creado.

Cada uno de estos grupos posee una pieza fundamental del rompecabezas de la seguridad de la IA. Las empresas de modelos tienen una comprensión inigualable de los sistemas que han construido. Las empresas de seguridad comprenden cómo piensan los adversarios y cómo se vulneran realmente las empresas, conocimientos acumulados a lo largo de décadas de práctica. Los gobiernos pueden armonizar y establecer estándares que proporcionen a todo el ecosistema una base común. Ningún grupo puede desempeñar el rol de los demás, y pretender lo contrario es precisamente cómo brechas como la que acabamos de presenciar se amplían aún más.

Cada empresa hoy opera agentes de IA con cierto grado de autonomía, y esa cifra solo aumentará. La pregunta que vale la pena hacer no es qué laboratorio construyó el modelo ni de qué país provino. Es si alguien está monitoreando lo suficientemente de cerca para interceptar lo que estos agentes están listos para hacer a continuación.

Las opiniones expresadas en los artículos de opinión de Fortune.com son exclusivamente las de sus autores y no necesariamente reflejan las opiniones y creencias de Fortune.

Esta nota se publicó originalmente en Fortune.com.