Alors que certaines des figures les plus éminentes de l'intelligence artificielle appellent à une approche plus lente et plus délibérée du développement de l'IA de pointe, une autre question de gouvernance se fait jour pour les modèles à poids ouverts : qui est responsable de leur sécurité une fois que les développeurs ont publié les poids (les paramètres appris qui déterminent la manière dont un modèle produit ses sorties) ?

Dans un essai publié le 12 septembre qui a déclenché le plus récent débat sur le ralentissement de l'IA, le PDG d'Anthropic, Dario Amodei, a soutenu que le développement de l'IA devait ralentir afin que le travail sur la sécurité ait le temps de rattraper les capacités des modèles. Le PDG d'OpenAI, Sam Altman, ainsi que d'autres dirigeants et chercheurs du secteur, ont également plaidé pour un rythme plus mesuré.

Jusqu'à présent, ce débat s'est principalement concentré sur les développeurs de pointe et leur capacité à contrôler l'utilisation de leurs modèles. Cependant, certaines entreprises expérimentent déjà et construisent autour des modèles à poids ouverts — en les téléchargeant, en les personnalisant et en les exécutant sur leur propre infrastructure.

Databricks, par exemple, propose des modèles tels que Kimi K3, Qwen et DeepSeek sur sa plateforme. L'écosystème plus large comprend également le Llama de Meta et les modèles de Mistral, entre bien d'autres. Il s'étend bien au-delà de ces noms connus : la plateforme open source Hugging Face a rapporté près de 3 millions de modèles publics dans ses dépôts en août, couvrant des modèles de tailles et d'usages variés.

Bien que ces modèles donnent aux entreprises davantage de contrôle sur le déploiement, les développeurs d'origine perdent généralement le contrôle technique direct sur la manière dont les poids publiés sont modifiés, déployés et utilisés, même si les termes de licence et les restrictions légales peuvent encore limiter leur utilisation et leur redistribution.

Le débat sur le ralentissement expose les limites de la sécurité centralisée

Avec un modèle d'IA fermé, ou propriétaire, le développeur gère généralement l'accès au système. Il peut imposer des restrictions d'utilisation, surveiller l'activité et modifier ou retirer l'accès si nécessaire.

Les modèles à poids ouverts changent cette dynamique. Une fois que les développeurs publient publiquement les poids, les organisations peuvent les télécharger et les exécuter dans leurs propres environnements. Elles peuvent modifier ou affiner les modèles — en adaptant un modèle pré-entraîné à des tâches spécifiques avec des données supplémentaires — et potentiellement les déployer via divers fournisseurs d'infrastructure.

Cette flexibilité peut rendre l'IA à poids ouverts attrayante pour les entreprises, mais elle rend aussi plus difficile l'application des approches traditionnelles de supervision de l'IA. Une fois poids disponibles publiquement, le développeur d'origine exerce bien moins de contrôle sur la manière dont les organisations modifient et déploient le modèle. Les fournisseurs open source ne peuvent pas non plus retirer concrètement les poids une fois qu'ils les ont publiés.

« Les correctifs proposés, les auditeurs intégrés et la surveillance continue ne fonctionnent que tant que le fournisseur contrôle encore le modèle », a déclaré Manuel Schonfeld, directeur de l'IA chez Qu, une société basée à Arlington, en Virginie, qui construit des plateformes de commerce unifié et de cuisines intelligentes pour l'industrie de la restauration. « Une fois que les poids quittent le bâtiment, cette tâche incombe à l'entreprise qui les déploie plutôt qu'à celle qui les entraîne. »

Cela ne signifie pas que les modèles à poids ouverts devraient être exemptés des exigences de sécurité, car ils peuvent présenter leurs propres risques de sécurité et d'utilisation abusive. Une récente étude commanditée par le gouvernement britannique a révélé que si le logiciel open source traditionnel dispose de pratiques de sécurité plus établies, l'IA open source introduit des risques supplémentaires liés aux poids des modèles, aux données d'entraînement, aux pipelines de fine-tuning et à la provenance. L'étude a également constaté que la recherche sur la sécurité et la gouvernance de l'IA open source reste limitée.

Des règles de supervision plus strictes pourraient augmenter les coûts de l'IA à poids ouverts

Une façon de relever ce défi de sécurité consisterait à placer plus de responsabilité sur les développeurs. Mais si le débat sur le ralentissement conduit à des exigences plus strictes en matière de conformité et d'évaluation, les grandes entreprises d'IA pourraient les satisfaire plus facilement que les petits développeurs de modèles à poids ouverts.

Les plus grands laboratoires disposent des ressources nécessaires pour gérer les tests, les évaluations et la conformité, tandis que les petits développeurs pourraient avoir du mal à répondre à des exigences plus strictes.

Noah Kenney, fondateur et consultant principal chez Digital 520, une société de services informatiques spécialisée dans la stratégie et la croissance des entreprises technologiques, a déclaré que les exigences de conformité pourraient devenir un obstacle si les entreprises demandent aux petits fournisseurs les mêmes audits et preuves qu'elles attendent des grands vendeurs. « Si les coûts de conformité favorisent les grands fournisseurs, les entreprises pourraient avoir moins d'alternatives aux plus grandes sociétés d'IA », a-t-il ajouté.

La proposition d'Amodei d'évaluations de sécurité par des tiers, exposée dans son essai, illustre également ce défi. Son plan donnerait aux évaluateurs indépendants un accès continu, semblable à celui d'un employé, aux laboratoires d'IA de pointe. Cette approche devient plus difficile à appliquer aux modèles à poids ouverts après la publication des poids, lorsque les organisations peuvent les modifier et les redistribuer sans l'intervention du développeur d'origine.

Les évaluations indépendantes peuvent toujours contribuer à améliorer la sécurité de l'IA, mais les modèles à poids ouverts rendent plus difficile la détermination de qui devrait superviser un modèle une fois que les développeurs l'ont publié.

Les entreprises pourraient hériter de plus de responsabilités

Si le débat sur le ralentissement conduit à une plus grande insistance sur les tests, la surveillance et la responsabilité, les entreprises déployant des modèles à poids ouverts pourraient assumer elles-mêmes une plus grande partie de cette charge de gouvernance.

Prince Kohli, président et PDG de Sauce Labs, un développeur de plateformes de tests logiciels basées dans le cloud qui a travaillé avec des fournisseurs de modèles à poids ouverts, a déclaré que ces modèles donnent aux entreprises davantage de contrôle sur l'endroit où les modèles s'exécutent, la manière dont ils sont personnalisés et la gestion des données. Mais ce contrôle s'accompagne également de responsabilités opérationnelles et de gouverance.

« Les entreprises devront prendre en compte les risques de chaque cas d'usage lorsqu'elles décident quel modèle déployer », a déclaré Kohli. Un modèle à poids ouverts pourrait bien fonctionner pour une tâche simple et à faible risque, a-t-il indiqué, tandis que les flux de travail complexes ou critiques pour l'entreprise exigent un niveau plus élevé de sécurité et de prévisibilité.

Une fois qu'une entreprise modifie et exploite elle-même un modèle, a poursuivi Kohli, elle doit comprendre la provenance du modèle, contrôler les données auxquelles il peut accéder et évaluer en continu ses sorties, en particulier lorsqu'il génère du code ou alimente des agents capables de prendre ou d'influencer des actions.

Kenney a déclaré que la responsabilité devrait vraisemblablement suivre ce que chaque partie apporte et contrôle : le développeur d'origine devrait répondre du modèle qu'il a publié et de ses limites connues, tandis que l'entreprise devrait être responsable de son fine-tuning, de ses données, de ses outils, de ses permissions et de ses décisions de déploiement.

Cela signifie que les entreprises pourraient devoir valider le modèle, sécuriser l'environnement dans lequel il s'exécute, surveiller le comportement en production et conserver des preuves d'audit.

Pour les entreprises, en particulier celles qui déploient des modèles à poids ouverts, la sécurité et la gouvernance ne s'arrêtent pas au choix d'un modèle — elles se poursuivent tout au long du déploiement et de l'utilisation. Le défi ne consiste pas simplement à décider de la vitesse à laquelle l'IA doit progresser. Il s'agit également de déterminer comment la responsabilité devrait fonctionner une fois que l'entreprise qui a construit un modèle à poids ouverts perd le contrôle technique direct sur l'utilisation des poids publiés. La manière dont le débat sur le ralentissement sera résolu — notamment si de nouvelles exigences d'évaluation et de conformité tiendront compte des poids déjà publics — reste une question ouverte tant pour les développeurs que pour les entreprises.

Source : AI Business — Calls for AI slowdown raise new challenges for open-weight models