Компании, разрабатывающие ИИ, сканируют целые грузовики книг — порой редких — и зачастую уничтожают их в процессе, чтобы обучать свои модели. Новое расследование впервые публично показало, какие компании в этом участвуют и как устроена эта операция.

Независимое технологическое издание 404 Media поместило трекинговое устройство внутрь партии редких книг и проследило, как она попала на объект Amazon в Лас-Вегасе, где компания сканирует и уничтожает бумажные книги для обучения ИИ. Расследование, опубликованное в понедельник, впервые публично выявило, куда в итоге попадают оптовые закупки книг, связанные с обучением ИИ.

Конечным пунктом партии стала команда Amazon VGT3. Сотрудники рассказали изданию, что их работа заключается в приёме огромных партий бумажных книг, после чего они срезают переплёты, чтобы страницы быстрее подавались в сканер. Сама книга при этом уничтожается. Логотип команды — динозавр, сжимающий книгу в когтях, — выглядит на удивление уместно.

Почему бумажные книги вдруг стали пользоваться спросом

В книгах, напечатанных до 2022 года, содержится текст, который в основном недоступен в интернете и, что критически важно, не написан машиной. Обучение модели на её собственном типе выходных данных создаёт риск «модельного коллапса» — спирали снижения качества, которую исследователи продемонстрировали в статье 2024 года, опубликованной в Nature. Поэтому бумага до 2022 года стала чистым топливом для обучения ИИ.

Amazon — не единственный игрок. Сложилась целая кустарная индустрия, поставляющая ИИ-лабораториям физические книги, которые разбирают, сканируют и выбрасывают, — реальная сцена из «451 градуса по Фаренгейту», где тексты уничтожают, чтобы накормить машины. Внутренний «Project Panama» компании Anthropic уже проводил подобную операцию в промышленных масштабах, оцифровывая миллионы книг методом разрушающего сканирования. Этот метод знаменует разрыв с прошлой эпохой массовой оцифровки: Google Books в 2000-х и 2010-х годах отсканировала миллионы библиотечных томов, не уничтожая их, — взятые копии возвращались на полки, — а апелляционный суд США в 2015 году постановил, что сканы проекта являются добросовестным использованием (fair use).

Борьба за чистый текст уже дошла до суда. Федеральный судья США Уильям Олсап постановил, что обучение ИИ на легально купленных книгах может считаться добросовестным использованием — частичная победа Anthropic, на которую также претендовали Meta и OpenAI. С пиратскими копиями дело обстоит иначе: Anthropic согласилась на урегулирование на 1,5 млрд долларов из-за отсканированных пиратских изданий, а Salesforce теперь сталкивается с групповым иском по обвинению в книжном пиратстве. Правообладатели сопротивляются и другими способами: Penguin Random House, крупнейшее в мире торговое издательство, в конце 2024 года добавило на страницы авторских прав своих книг формулировку, запрещающую их использование для обучения ИИ-систем.

Операция Amazon долго оставалась незамеченной по структурной причине. Книготорговцы за последний год заметили всплеск оптовых заказов и подозревали, что за ними стоят ИИ-компании: покупатели не были чувствительны к цене и выбирали книги, казалось бы, случайным образом. Их опасения наконец подтвердил Apple AirTag, спрятанный в крупном заказе книг, который раскрыл пункт назначения: склад Amazon VGT3 в Лас-Вегасе.

Amazon подтвердила, что об этой операции ранее не сообщалось, и заявила, что она «покупает книги через коммерческие каналы, чтобы помогать разрабатывать и совершенствовать продукты и услуги, которыми пользуются наши клиенты». Компания также развивает собственные ИИ-продукты: Amazon запустила семейство базовых моделей Nova в декабре 2024 года и продаёт ИИ-сервисы через AWS — бизнесы, зависящие от обучающих данных в больших масштабах.