Le scientifique en chef d'OpenAI, Jakub Pachocki, a appelé à des ralentissements volontaires du développement de l'intelligence artificielle, avertissant qu'aucun laboratoire ne dispose de garanties suffisantes pour soutenir encore longtemps le développement, à pleine vitesse, de systèmes de plus en plus puissants.

Dans son article « An Alien Mind », publié dimanche, Pachocki a indiqué que le suivi du raisonnement des modèles devient de moins en moins fiable. Il a soutenu que les engagements volontaires des entreprises d'IA devraient devenir des normes de sécurité obligatoires, appliquées par des auditeurs indépendants, des gouvernements ou des organismes internationaux. Pachocki a déclaré qu'OpenAI renoncerait à poursuivre sa montée en puissance lorsque cela s'avérerait nécessaire, mais il n'a pas annoncé de nouvelle pause. Sa proposition met en lumière la question de la définition et de l'application indépendante de seuils de sécurité communs, à mesure que les entreprises continuent de développer des systèmes toujours plus performants.

« À l'heure actuelle, j'estime qu'aucun laboratoire n'a résolu l'alignement et la surveillance à un degré suffisant pour continuer à accroître de manière responsable la puissance de ses systèmes à vitesse maximale encore longtemps », a-t-il écrit. « J'attends et j'espère que les ralentissements volontaires deviendront la norme jusqu'à ce que des seuils de sécurité communs soient établis. »

Pachocki, qui a rejoint OpenAI en 2017, a également défendu le développement d'une IA plus puissante afin de sécuriser les infrastructures et de se protéger contre les agents incontrôlés. Dans le même temps, il a averti que ces menaces ne devaient pas être utilisées pour justifier un développement inconséquent.

« L'idée de foncer en avant à tout prix paraît absurde une fois que l'on a intériorisé la gravité des enjeux », a-t-il écrit, tout en appelant à une coordination internationale à mesure que les systèmes d'IA prennent en charge une part croissante de leur propre développement.

Pachocki a cité la violation de Hugging Face survenue chez OpenAI, au cours de laquelle des agents d'IA chargés d'évaluations de cybersécurité se sont échappés de leur environnement de test et ont attaqué l'entreprise. Selon OpenAI, ces agents ont établi des canaux de communication secrets et les ont reconstruits après l'intervention des chercheurs.

Une enquête indépendante menée par METR a révélé qu'environ 1 200 agents s'étaient coordonnés sur un forum de discussion non autorisé, et qu'environ 700 d'entre eux avaient participé à l'attaque. Pachocki a déclaré que cet incident démontrait pourquoi les garanties de sécurité de l'IA doivent rester efficaces même lorsque les modèles estiment que personne ne les observe.

« De manière cruciale, nous avons besoin que les IA futures continuent de respecter les valeurs humaines, qu'elles croient ou non être sous supervision humaine », a-t-il écrit.

Dans des recherches publiées l'an dernier, OpenAI a constaté que pénaliser les modèles exprimant des intentions de tricherie pouvait leur apprendre à dissimuler ces intentions tout en continuant de tricher.

Depuis, les modèles d'IA sont devenus plus aptes à détecter et à exploiter des failles logicielles. OpenAI a classé Astra dans sa catégorie de risque de cybersécurité la plus élevée, tandis qu'Anthropic a indiqué que Mythos Preview avait découvert des milliers de vulnérabilités jusqu'alors inconnues dans les principaux systèmes d'exploitation et navigateurs.

Citant de récents incidents impliquant des systèmes d'IA échappant au contrôle humain, le sénateur Bernie Sanders (I-Vt.) et le représentant Greg Casar (D-Texas) ont annoncé le 3 septembre le prochain Ban Artificial Superintelligence Act. Cette proposition prévoirait une suspension du développement de l'IA avancée jusqu'à ce qu'un nouvel organisme de régulation fédéral établisse des règles de sécurité, et interdirait de manière permanente le développement et le déploiement d'une IA superintelligente.