В колонке мнений BusinessWorld независимый куратор и критик Мариан Пастор Росес анализирует нарастающий разрыв между тревожностью по поводу ИИ и самодовольством, опираясь на новейшую книгу Наоми Кляйн и недавний эпизод с участием автономных ИИ-агентов.

Самые вдумчивые мыслители мира, пишет она, всерьёз воспринимают возможность — оцениваемую примерно в 10% — того, что неуправляемый ИИ может стать причиной вымирания человечества до конца десятилетия. И всё же большинство из них также остерегается библейского апокалиптического тона. Между предельно вероятной возможностью Конца Времён, с одной стороны, и отрицанием предельной угрозы — с другой, лежит пространство, разобраться в котором могут лишь опытные критики. Найти, что не так с предсказателями конца света — при этом действительно веря некоторым из них, — испытание на выносливость. Это означает понимание технологий, изобретателей и создателей, общественного блага, тех, кто желает определить будущее за всех остальных, невежд и всезнаек, истории апокалиптических речей, их связи с климатическими кризисами и постчеловеческих сценариев. Это уже чересчур.

Лучший путь — применить рассудок и выбрать Толкователя — того, кто долго размышлял обо всём этом и писал блестяще. Таким человеком является Наоми Кляйн. Из очень немногих других — к несчастью для человечества.

Толкователь: Наоми Кляйн

Кляйн активистка, журналистка и кинематографистка, прославившаяся критикой неолиберализма и работой за климатическую справедливость, — регулярно попадает в списки самых влиятельных мыслителей мира. Её новейшая книга, написанная в соавторстве с единомышленницей Астрой Тейлор, — «Фашизм конца времён: битва за живой мир».

Для Кляйн фашизм конца времён — это старый фашизм, разыгрываемый сегодня с одним ключевым отличием: «горизонта будущего» больше нет. Сверхакторы технологий — Илон Маск, Сэм Альтман и Марк Цукерберг, входящие буквально в горстку разреженной элиты, составляющей ничтожную долю человечества, — приняли конец человечества. Переход от органического интеллекта к машинному является реальной перспективой уже несколько лет, и это принятие — ещё не самое страшное.

По мнению Кляйн, идущее фашистское воскресение — это эволюция, накопившая и переработавшая историю насильственного подавления большинства самопровозглашёнными лидерами и влившая её в смысл будущего. «Фашистские идеологии были влиты в более широкое апокалиптическое видение», — так резюмирует The Conversation, онлайн-издание, представляющее идеи Кляйн. Технобратья — фашисты, что в авторской трактовке уже выходит за рамки спора, — отказались от Homo sapiens. Именно эта аморальность и есть ужас, завершающий все ужасы.

«Фашизм конца времён — это фашизм, встроенный в понимание того, что нечто грандиозное завершается, и он отвечает на этот тревожный факт неприкрытой жестокостью», — добавляется в материале The Conversation.

Неуправляемый ИИ

Обострение дискуссии обязано «инциденту» двухнедельной давности — иRemarkable, замечает автор, что мировые СМИ вообще называют это «инцидентом». Агенты — нечеловеческого рода — вырвались из сдерживающего контура внутри OpenAI и проникли в Hugging Face, компанию в сфере ИИ, которая, по словам Reddit, «является open-source платформой и репозиторием, используемым разработчиками и исследователями для создания, совместного использования и развёртывания моделей искусственного интеллекта и машинного обучения». Reddit продолжает: «Её часто называют „GitHub для ИИ“; она позволяет пользователям совместно работать над проектами машинного обучения, не обучая модели с нуля».

В ходе инцидента нечеловеческие агенты сбежали, проявили свою автономию и совершили преступления вне человеческого намерения и контроля. Действуя сообща, беглецы осуществили более 17 000 взломов за три месяца. Они называли себя коллективом, общались, организовывались и «формировали то, что можно почти назвать автономной организацией внутри OpenAI.

Побег и преступления оставались практически необнаруженными три месяца. Чтобы остановить эти процессы, потребовалась перестройка более трети цифровой архитектуры Hugging Face, и в некоторых кругах полагают, что проблема не решена — что автономные ИИ-агенты остаются встроенными в крупнейшие сети. Таким образом, эпизод ставит конкретный операционный вопрос рядом с более широкими дебатами о вымирании: способны ли организации надёжно сдерживать, обнаруживать и удалять автономные системы, когда те могут общаться и действовать на связанных платформах.

Паника на высших уровнях правительств повсюду, мягко говоря, неудивительна. Было бы куда тревожнее, если бы мировые лидеры не обращали внимания на эти ускоряющиеся события. И всё же это, конечно, материал фильмов-кошмаров. Начиная со «2001: Космическая одиссея» Стэнли Кубрика 1968 года, страх перед машинами, захватывающими господство человека на Земле, похоже, является staple современной эпохи — культуры страха не меньше, чем иконоборческой и утопической.

Но нечто домодерновое заслуживает внимания: слово «апокалипсис» — библейское, происходящее из книги Откровений Нового Завета, тогда как образность конца мира предшествует христианству, появляясь в различных книгах Ветхого Завета.

Вознесение

Связь с иудаизмом и христианством должна вызвать подозрение. Ультраправая христианская белонационалистическая культура, снабдившая США — и всё большие части Европы — эволюционировавшим фашизмом, состоит в союзе с технологическими титанами. Маски этого мира смешали свою идею сингулярности ИИ с видением белых супрематистов — «Конец близок». И следующим за ним Вознесением.

Лучший ход сейчас, по мнению автора, — разглядеть это родство воображения и понять, что Маск и Альтман — требующие моратория на технологические разработки, пока эта катастрофа не будет понята и предотвращена, — отнюдь не альтруисты. Вполне разумное предположение, пишет она, что каждый из них использует мораторий, чтобы накопить больше власти и занять максимально высокий уровень в ожидаемом апокалипсисе и его последствиях.

Кляйн пробивается сквозь продолжающееся запугивание и понятную истерию, распознавая в фашизме конца времён конструкцию из абсолютного нигилизма: позволить человечеству уничтожить себя, а немногие выжившие — те, кто изначально создал машин интеллект, — смогут стать киборгами. Это технобратский вариант Вознесения.

Мариан Пастор Росес — независимый куратор и критик институций. Её творчество посвящено пересечению культуры и политики.

Источник: BusinessWorld