Сара Йегер, первый руководитель направления прав человека и ответственного внедрения в OpenAI, заявила, что вопросы, возникающие в связи с принятием искусственного интеллекта армией, постоянно тяготеют над ней — и что больше всего её беспокоит потенциальное использование этой технологии для целеуказания и автономного оружия.

«Все очень обеспокоены, и это оправданно, — сказала Йегер во вторник на конференции ScaleUp:AI в Нью-Йорке. — Меня это не даёт спать по ночам: “Что будет делать военные с ИИ, когда дело касается целеуказания? А автономное оружие? И куда всё это движется?”»

Йегер заняла недавно созданную должность в июне, привнеся примерно 30 лет опыта в области прав человека в компанию, чьё партнёрство с Министерством войны (DoW) — переименованным Министерством обороны — поставило её в центр продвижения ИИ американскими военными. Её работа сосредоточена именно на военных применениях.

Армии по всему миру быстро интегрируют ИИ в свои операции, разрабатывая новое оружие и автономные системы, такие как дроны и роботы. Изнутри одной из самых влиятельных компаний в области ИИ Йегер теперь решает сложные вопросы, которые ставит этот сдвиг.

«Я всегда хотела приходить туда, где права человека не обязательно являются доминирующей идеей, и убеждать людей, — сказала она. — С извинениями перед моими коллегами из OpenAI: я сейчас в брюхе зверя, и, честно говоря, мне там вполне комфортно, потому что я люблю убеждать, обсуждать, спорить и, надеюсь, менять ситуацию».

Неожиданный найм после спорного контракта

OpenAI обратилась к Йегер вскоре после подписания в конце февраля контракта с DoW на развёртывание передовых ИИ-систем в закрытых средах. Резонансная сделка состоялась после публичного конфликта между DoW и Anthropic. Anthropic добивалась защитных ограничений на военное использование своей технологии — в частности, запрета массовой общественной слежки и полностью автономного оружия, — на что DoW не согласился. Ведомство затем обозначило Anthropic как риск для цепочки поставок, и OpenAI вмешалась, получив контракт и заявив, что убедила DoW принять аналогичные ограничения по слежке и автономному оружию. OpenAI описала соглашение в посте корпоративного блога.

Для Йегер работа в OpenAI не была «мгновенным «да»». Она опасалась, как выразился ведущий на сцене, что её нанимают в рамках «имиджевой акции» — номинальной фигуры, которая придаст компании ответственный вид, не имея реального влияния на технологию. Она провела проверку, общаясь с сотрудниками, особенно с «молодым поколением, которое очень обеспокоено тем, что оно создаёт и кто стоит у руля». Это убедило её принять должность и посмотреть, сможет ли она что-то изменить.

Реальные риски и реальное влияние

С момента прихода Йегер добилась некоторого успеха во влиянии на направление развития технологии, сохраняя при этом опасения по поводу её будущего. Ставки стали очевидны в прошлом месяце, когда CNN сообщила, что американская военная чуть не атаковала китайский военный корабль на основе неточной разведывательной сводки, сгенерированной ИИ, — случай, который точно попал в вопросы целеуказания, которые, по её словам, беспокоят её больше всего.

Йегер работала напрямую с исследователями и инженерами над улучшением моделей, в том числе следила за тем, чтобы они давали надлежащие ответы по основополагающим международным соглашениям, таким как законы войны, закреплённые в 1949 году в Женевских конвенциях, принятых после Второй мировой войны. Она пригласила международных экспертов «буквально сесть за клавиатуры и вводить запросы для действительно опасных сценариев», после чего инженеры корректировали модели на основе ответов.

«Такого раньше никто не делал, и это было крайне приятно», — сказала Йегер.

По её мнению, компании в сфере ИИ пытаются «изобретать велосипед» в вопросах определения человечности и морали, которые общества давно разрешили. «Общества уже разобрались во многом из этого, и это называется правами человека. Это и должно быть базовой линией», — сказала она, имея в виду Женевские конвенции. «Я не хочу, чтобы ИИ-компания говорила мне, что хорошо. Если мы позволим индустрии определять, что хорошо, это станет полной анархией».

«Вернуться к человеку в правах человека»

Йегер также выразила настороженность по поводу дискуссии в Кремниевой долине о том, должны ли ИИ-системы, и особенно новые агентные технологии, иметь права. OpenAI задала ей этот вопрос во время собеседования. Тогда она ответила «нет» и повторила, что её специализация — права человека, хотя с тех пор задумывалась об этом больше. Теперь она более открыта к «крайне важным» дискуссиям о том, «как агенты вписываются в правовые структуры, трудовые структуры, налоговые структуры», отмечая, что эти вопросы не являются вопросом прав.

«Это совершенно несопоставимо с правами человека, и я бы очень хотела, чтобы мы вернулись к человеку в правах человека», — сказала она. Зал, состоявший преимущественно из мужчин в костюмах, начал аплодировать. «Большие аплодисменты за это», — сказал ведущий на сцене.

Кто создаёт ИИ — важно

Ещё одна из её проблем — относительно замкнутый демографический состав групп, создающих ИИ. На прошлой неделе президент Тп собрал в Вашингтоне десятки лидеров технологической индустрии для обсуждения безопасности ИИ. Все подписавшие добровольное соглашение о безопасности были мужчинами, и, как показали фотографии более широкой группы на обеде, все участники были мужчинами, за исключением генерального директора AMD Лизы Су.

«Мужчины прекрасны, но это была очень мужская картина тех, кто будет принимать решения об ИИ, — сказала Йегер. — Одна из проблем в том, что ИИ фундаментально меняет баланс сил между людьми по всему миру. Затронутых сообществ там вы не увидели».

Йегер отметила, что правительство само быстро внедряет ИИ. Она помогает надзорным органам, таким как Правовое управление Конгресса (Government Accountability Office) и Офис генерального инспектора, создавать инструменты для отслеживания его действий — механизм подотчётности, который, по её словам, «кажется важным для демократии». Таким образом, её роль выходит за рамки формирования собственных моделей OpenAI и распространяется на помощь федеральным контрольным органам в аудите принятия ИИ самим правительством.

Этот материал изначально был опубликован на Fortune.com.