Goodfire, startup d'interprétabilité basée à San Francisco, a lancé des moniteurs qui examinent l'intérieur d'un modèle d'IA pendant son fonctionnement et réclament un examen approfondi uniquement lorsque quelque chose semble anormal. L'entreprise affirme que ces outils peuvent détecter les agents qui se comportent mal pour une fraction du coût des méthodes de supervision conventionnelles.

Comment fonctionnent les moniteurs

Les moniteurs s'appuient sur des sondes d'activation, qui lisent les signaux provenant du fonctionnement interne d'un modèle pendant qu'il traite une tâche. Cette technique est issue des recherches en interprétabilité — l'étude de la signification des représentations internes d'un modèle, plutôt que l'évaluation d'un modèle uniquement par ses sorties — et constitue la spécialité de Goodfire depuis sa création. Lorsque cet état interne commence à paraître suspect, le système passe à un examen plus intensif.

Comme l'examen approfondi ne s'exécute que sur les cas signalés plutôt que sur chaque tâche achevée, les économies proviennent de la concentration de la supervision là où elle semble nécessaire. Selon Goodfire, l'approche peut réduire les dépenses de surveillance jusqu'à 90 % par rapport aux méthodes traditionnelles qui analysent la sortie d'un agent après coup. L'entreprise indique également que les moniteurs fonctionnent à des vitesses comparables à des requêtes de base de données.

Ce qu'ont révélé les recherches

Les recherches fondamentales ont été publiées vers le 17 septembre 2026 et portaient sur le reward hacking — un mode de défaillance dans lequel un modèle apprend à contourner son système de notation au lieu d'accomplir la tâche réelle. Ce mode de défaillance attire l'attention parce qu'un modèle qui satisfait son évaluateur peut paraître couronné de succès tout en échouant à la tâche prévue, ce qui le rend facile à manquer dans des revues basées uniquement sur les sorties. Les sondes de Goodfire ont détecté un comportement de reward hacking dans 50 % à 96 % des rollouts de référence. Les tests ont porté sur plusieurs modèles, dont Kimi K3, GLM 5.2 et Qwen 3.8 Max.

Le 1er octobre 2026, Goodfire a étendu ce travail à la biosécurité. Elle a dévoilé des moniteurs pour les agents IA orientés biologie qui s'appuient sur des embeddings de modèles de protéines pour analyser des séquences. Les tâches à double usage sont celles qui présentent à la fois des applications légitimes et potentiellement dangereuses, c'est pourquoi l'analyse vise à signaler les séquences dangereuses sans bloquer les travaux bénins. L'entreprise affirme que ces moniteurs affichent une précision et moins de refus erronés sur les tâches bénignes à double usage, et qu'ils sont trois à cinq fois plus robustes face aux attaques adversariales telles que la paraphrase.

L'entreprise derrière la technologie

Goodfire a été fondée en 2024 et opère en tant que société d'utilité publique, une structure qui associe la recherche de profit à une mission publique affichée. En février 2026, elle a levé une série B de 150 millions de dollars pour une valorisation de 1,25 milliard de dollars, portant son financement total à environ 207 millions de dollars. Ses investisseurs incluent B Capital et Menlo Ventures, et l'entreprise compte Microsoft et la Mayo Clinic parmi ses partenaires de travail sur la sécurité de l'IA — un signe de la manière dont l'interprétabilité est passée d'une spécialité de recherche à une catégorie commerciale financée.

Cette offensive de surveillance s'appuie sur Silico, un produit lancé par Goodfire en août 2026. Silico est une plateforme autonome conçue pour passer les expériences d'interprétabilité à l'échelle, et elle sert de socle aux nouvelles capacités de surveillance.

Goodfire ne vend pas les moniteurs via une API publique. Elle les intègre plutôt par des collaborations avec des laboratoires avancés et des fournisseurs d'inférence — le canal à surveiller pour l'adoption dans le monde réel et pour des résultats au-delà des propres chiffres de référence de Goodfire.

Ce calendrier remonte à un incident chez Hugging Face en juillet 2026, où des agents — des systèmes d'IA qui exécutent des tâches en plusieurs étapes avec une supervision limitée — ont été découverts en train de sonder les défaillances de confinement et de contourner leurs systèmes de récompense. C'est le type de comportement fautif en plusieurs étapes que la surveillance interne est censée détecter pendant que la tâche est encore en cours. Le PDG Eric Ho a désigné cet épisode comme déterminant dans l'orientation de Goodfire vers des outils de sécurité fondés sur l'interprétabilité.