Почти две трети религиозных книг, отобранных на Amazon, вероятно, написаны искусственным интеллектом — таковы результаты нового исследования компании Originality.ai, специализирующейся на детекции ИИ, которое охватывает более 2 000 недавно опубликованных изданий.

В отчёте, опубликованном в среду, компания отнесла 1 272 из 2 034 книг, то есть 63%, к вероятно написанным ИИ по 14 категориям религий и вероучений. Исследование также показало, что 53% проверяемых утверждений в книгах о колдовстве потенциально ложные.

Наивысший показатель — у колдовства: 78% книг, отобранных из категории Amazon «Викка, колдовство и язычество» (Wicca, Witchcraft & Paganism), были классифицированы как вероятно написанные ИИ. Эти издания охватывали такие темы, как целебные кристаллы, растительные средства и очищение от «негативных энергий». По словам автора отчёта Майкла Фраймана, многие книги о колдовстве были посвящены именно этим темам.

«Можно представить идеального покупателя как человека, который ищет способы исцелить себя, улучшить своё психическое здоровье или «детоксицироваться» от привычных химических веществ и лекарств», — сказал Фрайман в интервью Decrypt. «Эти книги по викке могут отвечать на подобные запросы, не подчиняясь никаким научным стандартам».

Эти опасения перекликаются с более ранними предупреждениями об ИИ-сгенерированной нон-фикшн литературе на Amazon: в 2023 году Нью-Йоркское микологическое общество предупреждало, что написанные ИИ пособия по сбору грибов, продававшиеся на платформе, могли привести читателей к ошибочному определению смертельно опасных грибов.

Индуизм занял второе место с показателем 76%, за ним следует даосизм с 74%, а сикхизм, буддизм, ислам, католицизм, протестантизм, православное христианство и иудаизм расположились между ними. У мормонизма показатель составил 42%, у атеизма — 40%, у сатанизма — 22%. Исследователи предупредили, что размеры выборок в разных категориях существенно различались.

Фрайман рассказал, что исследователи анализировали описания книг, биографии авторов и фрагменты текстов, относя к категории «Вероятно, ИИ» тексты с оценкой 50 баллов и выше. Однако он предупредил, что результаты указывают на вероятность, а не являются доказательством.

«Мы не утверждаем с полной уверенностью, что эти книги однозначно написаны ИИ», — отметил он. «Наша модель определяет вероятность того, что текст создан ИИ, с определённой степенью достоверности».

Фрайман добавил, что исследователи также выборочно проверяли книги, помеченные как вероятно сгенерированные ИИ.

«К этому моменту наша исследовательская команда уже способна отличить контент, вероятно написанный ИИ, от написанного человеком», — добавил он.

Хотя Фрайман выразил уверенность в результатах, ИИ-детекторы ранее выдавали ложные срабатывания и противоречивые результаты. В октябре 2024 года тест четырёх ИИ-детекторов дал противоречивые результаты при анализе Декларации независимости США: ZeroGPT счёл текст на 97,93% сгенерированным ИИ, QuillBot признал его полностью написанным человеком, а GPTZero оценил вероятность авторства человека в 89%.

Не так давно, в марте, Верховный суд Колумбии отклонил процессуальный документ после того, как детекторы пометили его как сгенерированный ИИ. Когда адвокат направил в тот же детектор решение этого суда, оно было оценено как сгенерированное ИИ на 93%.

Amazon не сразу ответил на запрос комментария от Decrypt.

«Amazon знает, насколько распространён написанный ИИ контент на их платформе, и использует систему честности, предоставляя авторам возможность самостоятельно указывать, что их работа написана ИИ», — сказал Фрайман, добавив, что компания не передавала результаты своего исследования Amazon. «У нас нет данных о том, сколько авторов на самом деле делают такое раскрытие».

С сентября 2023 года Amazon требует от авторов платформы Kindle Direct Publishing сообщать компании, когда содержание книги сгенерировано ИИ, а также ограничил загрузки тремя новыми книгами в день, однако не указывал, что такие сведения как-то маркируются для покупателей. В других сферах правила раскрытия начали ужесточаться: закон ЕС об искусственном интеллекте вводит требования прозрачности при маркировке ИИ-контента, а правило Федеральной торговой комиссии США, вступившее в силу в октябре 2024 года, запрещает фальшивые потребительские отзывы, сгенерированные ИИ, — хотя ни одно из этих правил конкретно не касается книгоиздания.

Использование физических книг для обучения ИИ также привлекло внимание: разработчики покупают миллионы изданий, разбирают их, сканируют страницы в обучающие наборы данных и выбрасывают оригиналы. В августе расследование проследило партию редких книг до объекта Amazon в Лас-Вегасе, где сотрудники срезали переплёты и сканировали страницы для получения данных для обучения ИИ. Amazon подтвердил, что приобретает книги через коммерческие каналы для этой операции.