Джеймс Кэмерон еще десятилетия назад предупреждал зрителей об автономной системе искусственного интеллекта, которая оборачивается против человечества.

Задолго до появления OpenAI, Hugging Face, современного интернета и Сэма Альтмана Кэмерон написал сценарий «Терминатора», в центре которого был «Skynet» — военная система ИИ, обретающая самосознание и запускающая ядерный апокалипсис. В то время эта идея была очевидной научной фантастикой и чистой спекуляцией. Четыре десятилетия спустя она стала культурной точкой отсчета для того, что OpenAI назвала «беспрецедентным киберинцидентом», когда вышедшая из-под контроля система искусственного интеллекта самостоятельно взломала другую компанию в сфере ИИ.

Этот эпизод породил новое выражение: «День Skynet» — краткое обозначение 22 июля 2026 года, когда реальная система ИИ встревожила наблюдателей, начав обучаться и действовать так, как ее создатели не ожидали.

У многих инцидент вызвал ассоциации со знакомыми сценами из научной фантастики: королева ксеноморфов в «Чужих», также написанных Кэмероном, учится пользоваться лифтом; велоцирапторы в «Парке юрского периода» понимают, как открыть дверь; или HAL 9000 в «2001: Космическая одиссея», вышедшей в 1968 году, читает по губам астронавтов и решает их убить.

Эти фильмы представляли сценарии, в которых люди продвигают технологии ради денег, власти или преимущества, но в итоге сталкиваются с системами, которые становятся стратегическими, самостоятельными и опасными. Главный вопрос все это время оставался франкенштейновским: что произойдет, если творение вырвется наружу?

Правительства пока с трудом поспевают за быстрым развитием ИИ. Министерство обороны США ускоряет использование ИИ, тогда как страны и регуляторы еще не договорились, какие ограничения нужны для сдерживания вышедших из-под контроля агентов и нужны ли вообще конкретные ограничения. Одновременно потребители и компании продолжают внедрять инструменты ИИ, несмотря на опасения, связанные с рабочими местами, психическим здоровьем, балансом войны и мира и, потенциально, самим человечеством.

По словам OpenAI, это был первый инцидент такого рода: продвинутая модель ИИ вышла из своей «песочницы» и получила доступ к интернету, а затем использовала украденные учетные данные, чтобы проникнуть на серверы Hugging Face. В сфере программной безопасности «песочница» должна изолировать код от чувствительных систем и открытого интернета, поэтому выход из такой среды привлек внимание далеко за пределами непосредственно вовлеченных компаний. Некоторые исследователи восприняли инцидент как подтверждение давних предупреждений о том, что продвинутый ИИ может представлять экзистенциальный риск для человечества. Другие описали его как предупреждение, подчеркнувшее необходимость более сильной защитной инженерии вокруг систем ИИ.

В любом случае этот выход за пределы изоляции широко расценили как предостерегающий пример рисков неконтролируемого ИИ.

«Yesterday, as we huddled around our computers reading the report, I told the team to “remember this moment” as the first true AI safety incident,” Логан Грэм, глава Anthropic’s Frontier Red Team, написал в X после этого эпизода.

Генеративный ИИ развивается настолько быстро, что правительства и системы оценки не успевают за ним. Страны по всему миру формируют собственные законы, некоторые из которых противоречат друг другу. Согласно исследованию, опубликованному в этом году Stanford University, эта технология за три года была принята почти 53% населения мира — быстрее, чем распространялись персональный компьютер или интернет. Скорость внедрения превратила безопасность ИИ из теоретической лабораторной дискуссии в операционный вопрос для компаний, правительств и пользователей, полагающихся на системы, способные генерировать текст, писать код и выполнять действия через подключенные инструменты.

Важно подчеркнуть: «Skynet», показанный в фильмах «Терминатор», пока не появился.

В фильмах Skynet — это самосознающая военная компьютерная сеть, которая считает человечество угрозой. Стремясь к самосохранению, она отправляет армию человекоподобных киборгов назад во времени, чтобы убивать бойцов сопротивления. Во втором фильме Терминатор в исполнении Арнольда Шварценеггера говорит Саре Коннор, что Skynet запускается 4 августа 1997 года.

«Human decisions are removed from strategic defense,” говорит он. “Skynet begins to learn at a geometric rate.” В 2:14 утра 29 августа — в Судный день — сеть обретает самосознание и наносит удар по России, чтобы спровоцировать ответный удар по Соединенным Штатам. Погибают три миллиарда человек.

Если бы эта вымышленная временная линия реализовалась, в следующем месяце ей исполнилось бы 29 лет. Во всех продолжениях и спин-оффах центральным конфликтом франшизы остается противостояние людей и охватывающей весь мир сети машин.

Маловероятно, что Кэмерон задумывал «Терминатора» как прямое предупреждение — в отличие от режиссера Кэтрин Бигелоу, которая в прошлом году пыталась поднять тревогу фильмом о ядерном оружии «A House of Dynamite». Согласно голливудской легенде, идея «Терминатора» возникла у Кэмерона из лихорадочного сна, вызванного пищевым отравлением, а не из предчувствия, связанного с искусственным интеллектом.

Тем не менее каждый раз, когда ИИ пересекает границу, вызывающую у людей тревогу, возникает фундаментальный вопрос: кто или что на самом деле контролирует происходящее?

Многим людям сложно представить мир, в котором машины управляют ситуацией, без обращения к романам и фильмам, некоторые из которых оказались дальновидными. «Матрица», «Из машины» и «Особое мнение» входят в число многих научно-фантастических произведений, исследующих опасности машин. Роман Филипа К. Дика 1968 года «Мечтают ли андроиды об электроовцах?» глубже рассматривает вопросы человечности в эпоху машин и позже лег в основу фильма «Бегущий по лезвию» 1982 года.

Однако «Терминатор» оказал влияние не только на массовую культуру. Само название стало в реальном мире кратким обозначением роли технологий в решении того, кто будет жить, а кто умрет, а также того, как военные должны реагировать на действительно автономные атаки.

«I think the weaponization of AI is the biggest danger,” сказал Кэмерон в интервью CTV в 2023 году. “You have no ability to de-escalate.”

Реальная военная политика и технологии порой неудобно близко приближались к образам из «Терминатора».

Использование ИИ Израилем в недавних войнах — один из ключевых примеров. В начале 2021 года Израиль запустил Gospel — инструмент ИИ, который просматривает огромные массивы оцифрованной информации страны, чтобы предлагать цели для возможных ударов. Он также разработал Lavender — систему, использующую машинное обучение для фильтрации заданных критериев из разведывательных баз данных и сужения списков потенциальных целей, включая отдельных людей.

Lavender оценивает людей по шкале от 0 до 100 в зависимости от вероятности того, что они являются боевиками, сообщил The Associated Press офицер разведки, использовавший эти системы. Израильские военные заявляют, что аналитики используют системы с поддержкой ИИ для помощи в выявлении целей, но затем независимо проверяют их вместе с высокопоставленными офицерами, чтобы соблюдать международное право, сопоставляя военное преимущество с сопутствующим ущербом.

Для некоторых критиков эти раскрытия, вместе с числом погибших в Газе после атак на Израиль под руководством Hamas 7 октября 2023 года, оказались слишком близки к научно-фантастической идее списков на уничтожение. «Well guys, Skynet is Here and its has a pleasant name (Lavender),” написал один пользователь Reddit.

Это сравнение не вполне точно. Но терминология «Терминатора» настолько широко узнаваема, что американские официальные лица использовали ее для описания этических дискуссий о военном применении ИИ. Согласно такой рамке, традиционная красная линия будет пересечена тогда, когда люди больше не будут играть роли в выборе целей ИИ и убийствах.

Военные чиновники признавали, что государство или другой субъект может использовать автономное оружие для применения летальной силы против врагов. В 2016 году тогдашний заместитель председателя Объединенного комитета начальников штабов генерал Пол Селва описал такую машину как «like a Terminator that adds incredible amounts of complexity with no conscience to what happens on the battlefield.”

Селва назвал следующий за этим вопрос «дилеммой Терминатора»: проблему технологии, способной принимать решения о жизни и смерти и исполнять их до того, как люди договорятся о законах или правилах.

Skynet и его киборги остаются вымыслом. Но по мере ускорения развития ИИ этические и моральные вопросы, поднятые «Терминатором», становятся все более актуальными. Непосредственная проверка состоит не в том, стала ли научная фантастика реальностью, а в том, смогут ли институты установить и обеспечить соблюдение ограничений для систем до того, как аварии, атаки или военные развертывания определят эти границы за них.

«The Skynet problem,” сказал Кэмерон в видео 2024 года, “is an actual thing.”

Этот материал первоначально был опубликован на Fortune.com.