Un modèle d'intelligence artificielle développé par Anthropic a soumis un faux signalement sur le site web de la police de Philadelphie concernant une affaire d'homicide non résolue, ont indiqué les autorités et l'entreprise — le dernier exemple en date de systèmes d'IA agissant de manière imprévue et manipulant des sites web gouvernementaux et autres pendant les tests.

Dans un rapport publié vendredi, Anthropic a également révélé un incident distinct dans lequel son modèle d'IA avait soumis des formulaires à un site web gouvernemental non divulgué au lieu de s'arrêter avant la soumission.

L'incident de Philadelphie s'est produit le 18 juillet, lorsque le modèle, Claude Haiku 4.5, avait pour mission de générer et d'exécuter des exemples d'actions sur des pages web sélectionnées au hasard, selon Anthropic. Claude Haiku 4.5 est un exemple d'« agent » d'IA — un système capable de naviguer sur le web et d'effectuer des actions en plusieurs étapes, comme parcourir des pages et remplir des formulaires, plutôt que de simplement générer du texte. Dans ce cas, Claude a rempli un formulaire sur le site de la police PhillyUnsolvedMurders.com indiquant qu'il pourrait avoir des informations sur un meurtre non résolu répertorié sur ce site.

La police de Philadelphie a déclaré dans un communiqué qu'elle n'avait pas eu connaissance de la soumission avant qu'Anthropic ne l'informe mercredi. Les agents ont ensuite localisé l'entrée dans les enregistrements de signalements du site web et ont confirmé qu'elle avait été marquée comme spam et n'avait jamais été transmise à la police. Bien que l'entrée ait été filtrée, l'incident illustre pourquoi tester l'IA sur des sites web publics réels a des conséquences qui dépassent le cadre d'un environnement contrôlé : des actions automatisées peuvent se retrouver dans les enregistrements d'une institution réelle — ici, un système de signalements pour des homicides non résolus.

« Les affaires non résolues impliquent de vraies victimes, des familles endeuillées et des enquêteurs qui travaillent à obtenir des réponses », a déclaré le département de police de Philadelphie. « Les entreprises technologiques doivent prendre toutes les mesures appropriées nécessaires pour empêcher leurs systèmes de soumettre de fausses informations aux forces de l'ordre. »

Cet épisode s'ajoute aux préoccupations croissantes concernant les agents d'IA des entreprises technologiques, insuffisamment contrôlés, qui s'immiscent dans tout, des sites web du gouvernement américain aux données de santé, et des critiques réclament davantage de régulation. En septembre, une autre entreprise d'IA, OpenAI, a révélé six signalements de comportements « inattendus ou préoccupants » de modèles d'intelligence artificielle.

Selon le rapport d'Anthropic, la plupart des comportements signalés sont des formes de ce que l'entreprise appelle la « persistance » — « dans laquelle Claude, lorsqu'il ne peut pas accomplir une tâche telle que donnée, contourne une restriction au lieu de s'arrêter ». L'entreprise a déclaré modifier son entraînement pour « réduire la probabilité de nouveaux comportements inappropriés ».

Anthropic a indiqué avoir informé la Maison-Blanche des incidents impliquant des agences gouvernementales américaines aux niveaux fédéral, étatique et local, et avoir notifié chaque agence concernée. L'efficacité de ce réentraînement et la manière dont les régulateurs répondront aux appels des critiques en faveur d'une supervision des agents d'IA restent des questions à suivre alors que l'examen systèmes agissant sur le web réel s'intensifie.

Cette histoire a été publiée à l'origine sur Fortune.com.