Marginal Revolution, le blog d'économie de longue date coécrit par les économistes de l'université George Mason Tyler Cowen et Alex Tabarrok, s'en prend à un argument familier qui circule parmi les défenseurs de la sécurité de l'IA, en l'ajoutant à ce que l'auteur appelle une collection croissante de sophismes financiers.

L'échange a débuté sur X, où un participant a observé que « de nombreux (la plupart ? presque tous ?) scénarios défavorables comportent des points intermédiaires de grande inquiétude et de catastrophe ». Une réponse a balayé d'emblée cette prémisse : « Pas dans mon modèle. Avant même que des humains commencent à s'inquiéter d'une prise de contrôle ou de mourir, les IA contrôlent déjà toutes les infrastructures. » (publication d'origine)

Dans un billet publié sur Marginal Revolution le 14 août, l'auteur indique que cette ligne d'argumentation — portant sur la question de savoir si la catastrophe de l'IA surviendrait avec ou sans signaux d'alerte visibles — revient souvent et « constitue encore un exemple de mauvais argument de “sécurité de l'IA” qui ne tient pas debout ».

L'objection centrale est que la personne qui formule cette affirmation la réfute elle-même. « C'est déjà un humain qui s'inquiète d'une prise de contrôle ou de mourir ! », note le billet. L'auteur trouve étrange de soutenir à la fois que « je vois ces problèmes arriver » et que, « à mesure que ces problèmes se multiplient et deviennent plus publics, par exemple à travers des cyberincidents, les autres personnes ainsi que les marchés ne prendront pas conscience de la situation ».

Cette posture revient, selon l'auteur, à « s'attribuer un statut épistémique oraculaire remarquable, et à n'en accorder presque à personne d'autre ». Deux questions complémentaires aiguisent la critique : « Si les données à venir ne convaincront personne d'autre de votre point de vue, pourquoi tenez-vous autant à votre position ? Ou, si vous pensez que le dénouement final sera si soudain et si furtif, comment se fait-il que vous soyez si bien informé sur l'avenir dès maintenant ? » Le verdict de l'auteur est que « tout cela est manifestement absurde, même si ce n'est pas logiquement auto-contradictoire au sens strict ».

Un aparté distinct pèse la logique d'une couverture contre la catastrophe au moyen d'options de vente — des contrats qui prennent de la valeur lorsque l'actif sous-jacent baisse : « si le monde s'achève soudainement, et que vous avez acheté des puts avec votre épargne, mais que vous ne pouvez pas les encaisser, vous mourrez tout de même sans avoir réduit votre niveau réel de consommation ».

Le billet aborde ensuite les contre-arguments avancés par Rob Wiblin — directeur de la recherche à 80,000 Hours, l'organisation à but non lucratif d'altruisme efficace consacrée à l'orientation de carrière qui compte la sécurité de l'IA parmi ses domaines d'action prioritaires — qui « sort un tas d'objections tirées de la section des commentaires de MR qui peuvent être réfutées sans difficulté ». (publication de Wiblin) À l'objection selon laquelle le fait de ne pas savoir quelles actions vendre à découvert constitue « un gros problème », la réponse de l'auteur est que « le risque n'est alors pas si systémique ». Quiconque pense que « le monde connaîtra des événements calamiteux significatifs au cours des dix prochaines années », alors que les preuves « s'accumulent », devrait acheter des puts, même sans certitude quant au calendrier — et, ajoute-t-il, « vous n'avez pas besoin de contrats d'options d'une durée de dix ans ». Selon ce raisonnement, « les défenseurs de la sécurité de l'IA aux vues relativement extrêmes devraient s'efforcer de diffuser ces points auprès de leurs partisans, et non de les retirer ».

Le billet se conclut par une digression assumée sur les motivations. Bien que l'auteur ne soit « pas partisan de la psychanalyse comme méthode de dissection des opinions », le constat selon lequel « le nombre et l'ampleur des erreurs directes évidentes sur ce sujet (et de la part de personnes très intelligentes) sont si élevés qu'on est en droit de se poser des questions » l'amène à imaginer une justification : « 100 milliards de dollars de coûts cyber supplémentaires ne constituent pas une préoccupation suffisamment significative, c'est trop banal, trop faible en pourcentage du PIB, un problème trop ordinaire et trop technocratique… vous ne pouvez pas me prendre ma peur plus grande et plus spectaculaire ! Je ne vous le permettrai pas ! Et puis, cette opinion est la colle sociale qui soude mon groupe d'appartenance. »

Le billet, intitulé « Adding to the barrel of finance fallacies » (« Ajout au tonneau des sophismes financiers »), est paru sur Marginal Revolution.