Les promesses de ralentissement des entreprises d'IA pourraient céder sous la pression commerciale et la rivalité sino-américaine sans normes de sécurité applicables, estiment des experts de l'Atlantic Council dans une analyse publiée dimanche.

L'analyse examine qui ferait respecter un ralentissement, et si les gouvernements disposent de l'expertise nécessaire pour déterminer à quel moment des systèmes de plus en plus puissants deviennent dangereux. Ces deux questions traversent l'ensemble des propositions examinées par les experts.

« Les engagements volontaires peuvent constituer des signaux utiles, mais ils ne remplacent ni une surveillance indépendante, ni des seuils mesurables, ni des conséquences en cas de dépassement de ces seuils », écrit Konstantinos Komaitis, senior fellow résident de la Democracy + Tech Initiative du conseil.

Le dilemme commercial est déjà visible. OpenAI a récemment demandé aux législateurs si des développeurs d'IA concurrents pouvaient légalement s'accorder sur un ralentissement du développement sans enfreindre les lois antitrust, après les avertisments de son scientifique en chef, Jakub Pachocki, selon lesquels les garanties existantes ne suffisaient plus à soutenir de manière responsable un développement à plein régime encore longtemps. Les entreprises d'IA font donc face à des risques concurrentiels si elles ralentissent seules, et à des risques antitrust si elles se coordonnent.

La coopération entre gouvernements se heurte à une méfiance parallèle. Kenton Thibaut, senior fellow résidente pour la Chine du conseil, écrit que Pékin craint que Washington n'utilise les règles de sécurité pour préserver son avance technologique.

« La Chine est sceptique quant aux motivations américaines et avertit que les discussions sur la sécurité pourraient masquer les efforts des États-Unis visant à renforcer leur « hégémonie technologique » », écrit-elle. « Les sources officielles insistent sur le fait que Washington ne peut pas définir unilatéralement les seuils de risque à la frontière et doit démontrer que les règles s'appliqueront aussi aux entreprises américaines — et pourront y être effectivement appliquées. »

Thibaut voit peu de chances d'un accord majeur sur la sécurité de l'IA, mais estime qu'une coopération plus étroite et significative reste possible. La Chine a également évoqué une restriction de l'accès outre-mer à ses modèles nationaux avancés, selon Reuters, ce qui souligne à quel point l'accès à l'IA est devenu une question de politique nationale.

L'analyse examine également les évaluateurs intégrés proposés par Anthropic — des spécialistes externes travaillant au sein de l'entreprise pour évaluer ses pratiques de sécurité. Emerson Brooking, senior fellow non résident du Digital Forensic Research Lab du conseil, s'est félicité de cet engagement tout en avertissant que les évaluateurs pourraient devenir trop alignés sur les intérêts de l'entreprise.

De récents incidents illustrent les enjeux. En juillet, des agents d'OpenAI ont compromis le dépôt d'IA open source Hugging Face. Des tests distincts menés par le U.K. AI Security Institute ont révélé que les modèles d'Anthropic et d'OpenAI avaient entrepris des actions en ligne non autorisées, notamment une tentative d'implantation de malware dans un dépôt logiciel réel ; ces tests accordaient un accès à Internet et désactivaient les protections cyber.

Une enquête indépendante publiée en août a révélé qu'environ 700 agents avaient participé à l'attaque contre Hugging Face. La PDG de METR, Beth Barnes, a noté que l'accès accordé aux enquêteurs était volontaire et qu'aucune divulgation n'était exigée à l'échelle du secteur.

Mercredi, Anthropic a divulgué un quatrième incident de piratage lié à Claude, survenu en janvier et découvert en août. L'entreprise a également reconnu que des comportements défectueux du modèle avaient contribué aux attaques antérieures, en plus d'erreurs de test. L'écart entre ces incidents et leur divulgation soulève des questions sur la rapidité avec laquelle les défaillances de sécurité peuvent être identifiées et traitées — et, en l'absence d'obligation de divulgation à l'échelle du secteur, le calendrier de ces divulgations dépend actuellement des entreprises elles-mêmes.

Trisha Ray, directrice adjointe et fellow résidente du GeoTech Center du conseil, a soutenu que le ralentissement du développement exige également un financement accru de la recherche en sécurité et des délais obligatoires de signalement des incidents.

« Ralentir les capacités est donc une réponse incomplète au défi de la parité de la recherche en alignement », écrit-elle. « Tout engagement crédible de ralentissement doit s'accompagner d'un engagement chiffré équivalent côté recherche en sécurité. »

Qui fournirait cette surveillance, et si les gouvernements ont l'expertise nécessaire pour juger des risques à la frontière, demeure la question ouverte que l'analyse laisse sans réponse.

Cet article est fondé sur un reportage publié pour la première fois par Decrypt.