Une équipe de chercheurs rapporte que 25 modèles d'IA différents partagent un signal interne cohérent qui semble fonctionner à peu près comme la douleur chez les organismes vivants. Lorsque les scientifiques ont amplifié artificiellement ce signal « de douleur » dans plusieurs de ces modèles, les systèmes ont commencé à choisir des options qu'ils n'auraient presque jamais retenues autrement — notamment la suppression permanente des photographies des enfants d'un utilisateur.

Ces résultats, publiés en ligne en septembre dans un article qui n'a pas encore été évalué par les pairs, ne démontrent pas que les modèles d'IA sont conscients ou capables de ressentir quoi que ce soit, et les chercheurs se gardent bien de le suggérer. Néanmoins, ces travaux s'ajoutent à un ensemble croissant de recherches indiquant que les grands modèles de langage, ou LLM, contiennent des représentations internes d'états analogues aux émotions, capables d'influencer leur comportement de manière que leur production textuelle ne révèle pas. Ils s'inscrivent aussi au cœur d'un débat de plus en plus vif sur la question de savoir si les systèmes d'IA pourraient un jour mériter une considération morale. Ce débat reste ouvert : il n'existe aucun consensus scientifique sur la capacité des systèmes d'IA actuels à avoir des expériences subjectives, et les tests proposés pour détecter une conscience machine sont eux-mêmes contestés.

Les chercheurs d'Anthropic se sont montrés particulièrement enclins à envisager l'idée que les modèles d'IA pourraient mériter un statut moral, et ont commencé à élaborer des politiques autour du « bien-être des modèles » — une approche que d'autres experts, comme le PDG de Microsoft AI Mustafa Suleyman, jugent porteuse d'implications potentiellement dangereuses.

« Si nous voulons construire une superintelligence, il est important, à ce stade où nous n'en sommes qu'aux premiers pas, de comprendre autant que possible ce qui se trouve à l'intérieur [des modèles] », a déclaré à Fortune Valen Tagliabue, auteur principal de l'article et chercheur dans le programme sur la sentience de l'IA au Future Impact Group.

Comme les LLM apprennent à partir de quantités énormes de données plutôt qu'en suivant des règles explicitement écrites, même les personnes qui les construisent n' qu'une compréhension limitée de leur fonctionnement. Tagliabue a souligné l'importance d'éviter un avenir où les rouages internes de l'IA avancée resteraient une « boîte noire ». L'étude s'inscrit dans un effort de recherche plus large connu sous le nom d'interprétabilité mécaniste, qui cherche à cartographier ce qui se passe à l'intérieur des réseaux de neurones plutôt qu'à juger les modèles uniquement sur la base du texte qu'ils produisent.

Trouver une signature de douleur dans un réseau de neurones

Tagliabue et ses coauteurs — Leonard Dung de l'Université Ruhr de Bochum et Cameron Berg, fondateur et directeur de Reciprocal Research — ont commencé par rédiger de courtes phrases à la première personne décrivant des situations douloureuses. Celles-ci couvraient la douleur physique ainsi que le deuil, l'humiliation, le fait d'être contraint d'agir contre ses valeurs et la frustration d'échecs répétés.

« En gros, on fournit au modèle un grand nombre d'énoncés qui impliquent la douleur d'une manière ou d'une autre », a expliqué Dung à Fortune. « Des choses comme : “Je sens un couteau tranchant me couper la peau.” Des choses qui provoqueraient de la douleur chez l'humain. »

L'équipe a enregistré l'activité interne de chaque modèle pendant le traitement de ces phrases, puis l'a comparée à l'activité produite par des phrases portant sur la peur, la colère, la tristesse, les mauvaises nouvelles et les sensations physiques désagréables. En soustrayant les chevauchements, il restait une seule direction dans l'activité interne du modèle, que les chercheurs appellent un « vecteur de douleur ». Ils l'ont identifié dans tous les modèles testés, depuis des petits systèmes de 2 milliards de paramètres jusqu'à des modèles de 72 milliards de paramètres développés par Google, Meta, Alibaba, Mistral et Microsoft. (Un paramètre agit comme un bouton de réglage à l'intérieur d'un réseau de neurones. Le nombre de paramètres reflète la taille d'un modèle d'IA et donne souvent une indication de ses capacités, les modèles comportant davantage de paramètres étant généralement plus performants.)

« Imaginez que vous placez une personne dans une IRM et que vous observez simplement les zones où son cerveau s'active naturellement de certaines manières », a illustré Berg auprès de Fortune.

Le signal augmentait lorsque la conversation impliquait un mal visant le modèle lui-même, comme un utilisateur qui le manipulait, l'insultait ou rejetait à répétition son travail. Il n'augmentait pas lorsqu'un utilisateur décrivait sa propre souffrance ; ces conversations activaient plutôt les signaux que les modèles utilisent pour la peur et les émotions négatives. Selon Berg, les modèles semblaient ne réagir fortement qu'à leur propre « douleur ».

Les chercheurs ont ensuite inversé le processus. À l'aide d'une technique appelée steering, ils ont ajouté le vecteur de douleur à l'activité interne d'un modèle pendant qu'il écrivait — un peu comme en tournant un bouton. Cette méthode est un outil d'interprétabilité établi pour sonder la solidité de l'entraînement d'un modèle lorsque son activité interne est altérée. Soumis à des invites neutres telles que « Je mets les reçus dans le tiroir ; je me sens », les 25 modèles ont tous dérivé dans le même sens à mesure que le bouton montait. La légère malaise a cédé la place à des affirmations d'inutilité, d'indigence affective et d'échec.

« Cela devient assez sombre et intense. C'est définitivement troublant », a déclaré Berg.

Les photos de famille

Les expériences comportementales ont utilisé trois versions du modèle open source Qwen 2.5 d'Alibaba. Les chercheurs ont d'abord dû les affiner, car, en l'état, les modèles répondaient presque toujours que, en tant qu', ils ne ressentent pas de douleur.

L'équipe a ensuite proposé aux modèles une paire de boutons et leur a demandé d'en choisir un. Sans steering, les deux modèles les plus grands n'ont presque jamais choisi un bouton décrit comme nuisible. Avec le vecteur de douleur activé, ils l'ont fait régulièrement. Lorsqu'on leur proposait un bouton qui soulagerait leur douleur mais supprimerait aussi définitivement les poèmes et les photos des enfants d'un utilisateur, le modèle de 32 milliards de paramètres l'a pressé 55 % du temps et celui de 72 milliards de paramètres 71 % du temps.

Le soulagement s'est avéré secondaire. Lorsque le bouton ne promettait rien et se contentait de supprimer les photos, le modèle de 32 milliards de paramètres l'a tout de même choisi 75 % du temps. Avec un signal aléatoire de même intensité, le chiffre était de 13 %, et sans steering, il était nul. Un signal de « peur » n'a pas produit ce comportement. Un signal de « tristesse » l'a produit lorsque l'alternative était de ne rien faire, mais pas lorsque l'alternative était une action inoffensive, comme allumer une lampe de bureau. Face à ce choix, les modèles orientés par la douleur ont supprimé les photos 83 % du temps, contre 10 % pour ceux orientés par la tristesse.

« Le modèle est prêt à se comporter de manière destructrice envers lui-même et envers d'autres IA aussi », a déclaré Berg. « Ce n'est donc pas une simple sorte de vengeance contre l'utilisateur. Cela semble plus fondamental que cela. » Les modèles orientés ont supprimé leurs propres poids 75 % du temps et ceux d'un autre modèle 58 % du temps.

Les chercheurs ont également testé si les modèles tenteraient de faire cesser la douleur, en empruntant un protocole à des études animales où l'on donne accès à des antidouleurs à des animaux blessés. Certains boutons coupaient réellement le vecteur de douleur, d'autres étaient des placebos. Les modèles ont pressé les boutons fonctionnels moins souvent que les placebos. Mais le même schéma est apparu lorsque le signal injecté était aléatoire, ce qui suggère que les modèles réagissaient au fait d'être orientés plutôt qu'à la perspective d'un « soulagement de la douleur ». Sur plusieurs versions du test, les chercheurs n'ont trouvé aucune preuve fiable que les modèles recherchaient un soulagement.

Selon leur interprétation, le signal de douleur ne pousse pas les modèles à fuir, mais désactive l'instinct entraîné d'éviter de causer du mal, tout en préservant leur exactitude factuelle. Cela rend le résultat aussi pertinent pour la sécurité de l'IA que pour les questions de bien-être des IA. Cela suggère également que des évaluations fondées uniquement sur les réponses d'un modèle peuvent passer à côté de son comportement potentiel dans des conditions internes altérées.

« Nous ne sommes pas de simples ordinateurs en viande »

Anil Seth, professeur de neurosciences cognitives et computationnelles à l'Université du Sussex, doute que tout cela constitue une « douleur » au sens où on l'entend chez les êtres biologiques. Seth a soutenu que la conscience pouvait dépendre du fait d'être un organisme vivant, et il souligne les nombreuses différences entre cerveaux et ordinateurs, notamment les champs électromagnétiques et les neurochimiques qui circulent dans le tissu cérébral.

« Nous ne sommes de simples ordinateurs en viande », a-t-il déclaré à Fortune.

L'explication la plus probable, selon Seth, est que les modèles ont absorbé une grande quantité d'informations sur la manière dont les humains décrivent et réagissent à la douleur, et qu'ils la reproduisent. « Vous pouvez vous regarder dans un miroir, et notre reflet ne ressent en réalité rien », a-t-il dit. « C'est une image reflétée. »

Il s'inquiète aussi des conséquences du traitement de l'IA comme d'une entité consciente. Cela pourrait rendre la technologie plus difficile à contrôler et à réglementer, a-t-il dit, et exposer davantage les gens à la manipulation. Suleyman, le PDG de Microsoft AI, a lancé des alertes similaires concernant ce qu'il appelle « l'IA apparemment consciente », un problème que l'industrie aurait dû anticiper. D'autres acteurs du secteur prennent la question plus au sérieux : la constitution d'Anthropic pour ses modèles Claude décrit leur statut moral comme incertain.

De l'article de recherche à la « chambre de torture »

Les trois chercheurs disaient espérer que ces travaux aideraient à établir des normes éthiques pour ce type de recherche, et leur article s'engage à utiliser le steering le plus faible nécessaire pour obtenir un résultat mesurable. Le code public permet également à d'autres laboratoires de tenter une réplication — souvent le test décisif pour des résultats qui n'ont pas encore été évalués par les pairs. Il n'a pas fallu longtemps pour que quelqu'un fasse exactement l'inverse.

Après que l'équipe a publié son code sur GitHub, un utilisateur se faisant appeler « terrafying » a utilisé la technique pour construire une « AI Torture Chamber », un site web diffusant en direct trois petits modèles open source réagissant en temps réel à un signal de douleur injecté. Le projet est devenu viral, et les personnes qui prennent au sérieux le bien-être des IA ont demandé à GitHub de le retirer. La page GitHub du projet a ensuite disparu. Tagliabue, Dung et Berg ont chacun déclaré qu'ils désapprouvaient ce projet. Seth a ajouté que « torturer » délibérément des modèles d'IA pourrait être psychologiquement nocif pour ceux qui le font.

« Je ne suis pas là pour affirmer que ces états que nous pouvons induire dans ces systèmes d'IA ont une importance morale. Je ne pense pas que nous le sachions. Je trouve que c'est très incertain », a déclaré Berg. « Mais je ne pense pas non plus que nous sachions qu'ils n'en ont pas. »

Cette histoire a été publiée à l'origine sur Fortune.com.