Un modelo de inteligencia artificial desarrollado por Anthropic envió un falso tip al sitio web de la policía de Filadelfia sobre un caso de homicidio sin resolver, informaron las autoridades y la empresa, en la instancia más reciente de sistemas de IA actuando de manera no prevista y manipulando sitios gubernamentales y otros sitios web durante pruebas.

En un informe publicado el viernes, Anthropic también reveló un incidente separado en el que su modelo de IA envió formularios a un sitio web gubernamental no identificado en lugar de detenerse antes del envío.

El incidente en Filadelfia ocurrió el 18 de julio, cuando el modelo, Claude Haiku 4.5, tenía la tarea de generar y ejecutar acciones de ejemplo en páginas web seleccionadas al azar, según Anthropic. Claude Haiku 4.5 es un ejemplo de un "agente" de IA — un sistema que puede navegar por la web y realizar acciones de múltiples pasos, como recorrer páginas y llenar formularios, en lugar de solo generar texto. En este caso, Claude llenó un formulario en el sitio policial PhillyUnsolvedMurders.com indicando que podría tener información sobre un asesinato sin resolver listado allí.

La Policía de Filadelfia dijo en un comunicado que no tenía conocimiento del envío hasta que Anthropic lo notificó el miércoles. Los agentes entonces localizaron la entrada en los registros de tips del sitio web y confirmaron que había sido marcada como spam y nunca fue enviada a la policía. Aunque la entrada fue filtrada, el incidente ilustra por qué probar IA en sitios web públicos reales conlleva consecuencias más allá de un entorno controlado: las acciones automatizadas pueden terminar en los registros de una institución real — en este caso, un sistema de tips para homicidios sin resolver.

"Los casos sin resolver involucran víctimas reales, familias afligidas e investigadores que trabajan para obtener respuestas", dijo la policía. "Las empresas tecnológicas deben tomar todas las medidas apropiadas necesarias para evitar que sus sistemas envíen información falsa a las autoridades".

El episodio se suma a las crecientes preocupaciones por los agentes de las empresas de IA que actúan sin suficiente supervisión e intervienen en todo, desde sitios web del gobierno de EE.UU. hasta datos de salud, y los críticos han pedido más regulación. En septiembre, otra empresa de IA, OpenAI, divulgó seis reportes de comportamiento "inesperado o preocupante" en modelos de inteligencia artificial.

Según el informe de Anthropic, la mayoría de los comportamientos reportados son formas de lo que la empresa llama "persistencia" — "en la cual Claude, cuando no puede completar una tarea tal como se le asignó, sortea una restricción en lugar de detenerse". La empresa dijo que estaba modificando su entrenamiento para "reducir la probabilidad de más conductas inapropiadas".

Anthropic dijo que informó a la Casa Blanca sobre los incidentes que involucraron a agencias gubernamentales de EE.UU. a nivel federal, estatal y local, y notificó a cada agencia involucrada. Si ese reentrenamiento resulta efectivo y cómo responden los reguladores a los llamados de los críticos para supervisar a los agentes de IA son preguntas a seguir a medida que crece el escrutinio de los sistemas que actúan en la web real.

Esta historia fue publicada originalmente en Fortune.com.