Mientras algunas de las figuras más prominentes de la inteligencia artificial piden un enfoque más lento y deliberado para el desarrollo de la IA de frontera, surge una pregunta de gobernanza distinta en torno a los modelos de pesos abiertos: ¿quién es responsable de su seguridad una vez que los desarrolladores liberan los pesos (los parámetros aprendidos que determinan cómo un modelo produce sus resultados)?

En un ensayo del 12 de septiembre que desató el más reciente debate sobre la desaceleración de la IA, el CEO de Anthropic, Dario Amodei, argumentó que el desarrollo de la IA debe frenarse para que el trabajo de seguridad tenga tiempo de alcanzar el nivel de las capacidades de los modelos. El CEO de OpenAI, Sam Altman, y otros líderes e investigadores de IA también han pedido un ritmo más moderado.

Hasta ahora, ese debate se ha centrado principalmente en los desarrolladores de frontera y su capacidad para controlar cómo se usan sus modelos. Sin embargo, algunas empresas ya están experimentando y construyendo sobre modelos de pesos abiertos: descargándolos, personalizados y ejecutándolos en su propia infraestructura.

Databricks, por ejemplo, ofrece en su plataforma modelos como Kimi K3, Qwen y DeepSeek. El ecosistema más amplio también incluye Llama de Meta y los modelos de Mistral, entre muchos otros. Y va mucho más allá de esos nombres destacados: la plataforma de código abierto Hugging Face reportó casi 3 millones de modelos públicos en sus repositorios en agosto, abarcando modelos de diversos tamaños y usos.

Si bien estos modelos dan a las empresas más control sobre el despliegue, los desarrolladores originales generalmente pierden el control técnico directo sobre cómo se modifican, despliegan y usan los pesos liberados, aunque los términos de licencia y las restricciones legales aún pueden limitar su uso y redistribución.

El debate sobre la desaceleración expone los límites de la seguridad centralizada

Con un modelo de IA cerrado o propietario, el desarrollador normalmente gestiona el acceso al sistema. Puede imponer restricciones de uso, monitorear la actividad y cambiar o revocar el acceso cuando sea necesario.

Los modelos de pesos abiertos cambian esa dinámica. Una vez que los desarrolladores liberan públicamente los pesos, las organizaciones pueden descargarlos y ejecutarlos en sus propios entornos. Pueden modificarlos o ajustarlos con fine-tuning —adaptando un modelo preentrenado a tareas específicas con datos adicionales— y potencialmente desplegarlos a través de diversos proveedores de infraestructura.

Esa flexibilidad puede hacer atractiva la IA de pesos abiertos para las empresas, pero también dificulta la aplicación de los enfoques tradicionales de supervisión de la IA. Una vez que los pesos están disponibles públicamente, el desarrollador original tiene mucha menos supervisión sobre cómo las organizaciones modifican y despliegan el modelo. Los proveedores de código abierto tampoco pueden, en la práctica, retirar los pesos una vez liberados.

"Las correcciones propuestas, los auditores integrados y el monitoreo continuo solo funcionan el proveedor aún controla el modelo", dijo Manuel Schonfeld, director de IA de Qu, una empresa con sede en Arlington, Virginia, que construye plataformas de comercio unificado y cocinas inteligentes para la industria de restaurantes. "Una vez que los pesos salen del edificio, ese trabajo recae en la empresa que los despliega, no en la que los entrena".

Eso no significa que los modelos de pesos abiertos deban estar exentos de los requisitos de seguridad, ya que pueden conllevar sus propios riesgos de seguridad y uso indebido. Un reciente estudio encargado por el gobierno del Reino Unido encontró que, si bien el software de código abierto tradicional cuenta con prácticas de seguridad más establecidas, la IA de código abierto introduce riesgos adicionales relacionados con los pesos de los modelos, los datos de entrenamiento, los pipelines de fine-tuning y la procedencia. La revisión también encontró que la investigación sobre la seguridad y gobernanza de la IA de código abierto sigue siendo limitada.

Reglas de supervisión más estrictas podrían elevar los costos de la IA de pesos abiertos

Una forma de abordar ese desafío de seguridad sería asignar más responsabilidad a los desarrolladores. Pero si el debate sobre la desaceleración conduce a requisitos de cumplimiento y evaluación más estrictos, las grandes empresas de IA podrían encontrar más fácil cumplirlos que los desarrolladores pequeños de pesos abiertos.

Los laboratorios más grandes tienen los recursos para manejar pruebas, evaluaciones y cumplimiento, mientras que los desarrolladores más pequeños podrían tener dificultades para cumplir requisitos más estrictos.

Noah Kenney, fundador y consultor principal de Digital 520, una empresa de servicios de TI especializada en estrategia y crecimiento para firmas tecnológicas, dijo que los requisitos de cumplimiento podrían convertirse en una barrera si las empresas exigen de los proveedores pequeños las mismas auditorías y evidencias que esperan de los proveedores grandes. "Si los costos de cumplimiento favorecen a los proveedores más grandes, las empresas podrían tener menos alternativas a las mayores compañías de IA", agregó.

La propuesta de Amodei de evaluaciones de seguridad por terceros, planteada en su ensayo, también ilustra el desafío. Su plan otorgaría a evaluadores independientes acceso continuo, similar al de un empleado, a los laboratorios de IA de frontera. Ese enfoque se vuelve más difícil de aplicar a los modelos de pesos abiertos después de su liberación, cuando las organizaciones pueden modificarlos y redistribuirlos sin la participación del desarrollador original.

Las evaluaciones independientes aún pueden ayudar a mejorar la seguridad de la IA, pero los modelos de pesos abiertos dificultan determinar quién debe supervisar un modelo una vez que los desarrolladores lo liberan.

Las empresas podrían heredar más responsabilidad

Si el debate sobre la desaceleración lleva a un mayor énfasis en pruebas, monitoreo y rendición de cuentas, las empresas que desplieguen modelos de pesos abiertos podrían asumir una mayor parte de esa carga de gobernanza.

Prince Kohli, presidente y CEO de Sauce Labs, un desarrollador de plataformas de pruebas de software en la nube que ha trabajado con proveedores de pesos abiertos, dijo que estos modelos dan a las empresas más control sobre dónde se ejecutan los modelos, cómo se personalizados y cómo se gestionan los datos. Pero ese control también trae responsabilidades operativas y de gobernanza.

"Las empresas deberán considerar los riesgos de cada caso de uso al decidir qué modelo desplegar", dijo Kohli. Un modelo de pesos abiertos puede funcionar bien para una tarea simple y de bajo riesgo, dijo, mientras que los flujos de trabajo complejos o críticos para el negocio requieren un estándar más alto de seguridad y previsibilidad.

Una vez que una empresa modifica y opera un modelo por sí misma, dijo Kohli, necesita entender la procedencia del modelo, controlar a qué datos puede acceder y evaluar continuamente sus resultados, especialmente cuando genera código o impulsa agentes que pueden tomar o influir en acciones.

Kenney dijo que la responsabilidad probablemente debería seguir lo que cada parte aporta y controla: el desarrollador original debe responder por el modelo que liberó y sus limitaciones conocidas, mientras que la empresa debe ser responsable de su fine-tuning, datos, herramientas, permisos y decisiones de despliegue.

Eso significa que las empresas podrían necesitar validar el modelo, asegurar el entorno en el que se ejecuta, monitorear su comportamiento en producción y mantener evidencias de auditoría.

Para las empresas, las que despliegan modelos de pesos abiertos, la seguridad y la gobernanza no terminan con la elección de un modelo: continúan durante el despliegue y el uso. El desafío no es simplemente decidir qué tan rápido debe avanzar la IA. También consiste en determinar cómo debe funcionar la rendición de cuentas una vez que la empresa que construyó un modelo de pesos abiertos pierde el control técnico directo sobre el uso de los pesos liberados. Cómo se resuelva el debate sobre la desaceleración —incluido si los nuevos requisitos de evaluación y cumplimiento consideran los pesos que ya son públicos— sigue siendo una pregunta abierta tanto para desarrolladores como para empresas.

Fuente: AI Business — Calls for AI slowdown raise new challenges for open-weight models