Новое эссе, опубликованное на Marginal Revolution автором блога в соавторстве с Соней Фаррелл Пирсон из Гарварда, рассматривает, можно ли сделать «непривязанных» ИИ-агентов подотчётными — и может ли требование о наличии у них определённого капитала служить цели лучшего согласования (alignment).

Эссе открывается на фоне меняющейся политики. Ещё в 2017 году Европейский парламент предложил ввести «электронную правосубъектность» для роботов. Не так давно несколько штатов США внесли законопроекты, прямо запрещающие признание за ИИ юридической правосубъектности, а в начале этого лета президент Аргентины Милей предложил разрешить ИИ-агентам владеть собственными корпорациями, управлять ими и нести за них ответственность.

В ответ на заявление Милея Юваль Ной Харари указал, что у нас нет способа привлечь ИИ-агента к ответственности. Что, спрашивает он, мы можем сделать с сущностью, у которой нет ни денег, которые можно потерять, ни тела, которое можно заключить в тюрьму? Как объясняет Шрути Раджагопалан, старший научный сотрудник Центра Меркатуса при Университете Джорджа Мейсона, ИИ «может действовать разумно, но на стимулы, создаваемые правом, реагируют только люди». Действующие режимы ответственности отражают это допущение: пересмотренная Директива ЕС об ответственности за дефектную продукцию, принятая в конце 2024 года, распространяет строгую ответственность на программное обеспечение, включая системы ИИ, сохраняя ответственность за производителями и другими ответчиками-людьми, а государства-члены обязаны применить её до декабря 2026 года.

Авторы утверждают, что этот вопрос актуален уже сейчас, потому что существуют способы, при которых агент может стать полностью непривязанным. «Непривязанный» — центральное понятие эссе — означает, что нет никакого осмысленного или практически осуществимого способа проследить действия до юридически ответственного человека или институциональной организации.

Появлению таких агентов может способствовать несколько путей. Люди могут и действительно намеренно отпускают агентов на свободу. Агент может быть создан человеком или компанией, которые намеревались его контролировать, но затем умерли или исчезли. Или же организация, создавшая агента, может базироваться в стране вроде Северной Кореи, недосягаемой для стандартных законов.

В других случаях агенту вовсе не нужно «сбегать»: он может «контролироваться» компанией-оболочкой, которая, хотя формально имеет владельцев и поддаётся отслеживанию, не даёт ни реального ответчика, ни возможности удовлетворить иски. Процесс также может породить настолько длинную цепочку агентов, что действия субагента невозможно связать с создателем исходного агента ни в познавательном, ни в осмысленном отношении. Даже если исходного создателя модели можно установить, вопросы остаются, если модель была дообучена или объединена с другой моделью, созданной кем-то другим. Право, возможно, в конце концов распутает подобные сложные случаи, пишут авторы, но они предвидят промежуточный период, когда оно этого не делает.

И наконец, есть пользователь, который принимает решения о том, что модели должны делать на самом деле. Инцидент с Hugging Face был необычен тем, что OpenAI выступала одновременно создателем модели и её пользователем. Но теперь этими системами пользуются почти миллиард человек: когда обвинение создателя юридически неуместно, эссе задаётся вопросом, всегда ли имеет смысл обвинять пользователя.

В эссе рассматривается, в какой мере капитализация непривязанных агентов — требование, чтобы они располагали определённым объёмом капитала, — может служить цели лучшего согласования. Этот инструмент хорошо знаком из финансов, где банки и брокер-дилеры уже обязаны держать минимальный капитал против рисков, создаваемых их деятельностью. А владение агентами активами уже не гипотетично: в 2024 году чат-бот Truth Terminal, созданный исследователем Энди Эйри, контролировал криптокошелёк, получивший 50 000 долларов в биткоинах от инвестора Марка Андриссена и связанный с мемкоином, резко выросшим в цене. Объём эссе — около 22 страниц, оно опубликовано в Substack Сони; в посте на Marginal Revolution оно характеризуется как «безусловно рекомендуемое».

Источник: Marginal Revolution