От неверной интерпретации высоты Найроби над уровнем моря до вредных клинических рекомендаций в кенийских исследованиях — глобальные модели ИИ всё чаще участвуют в решениях вопроса жизни и смерти по всей Африке, а действующие стандарты точности недостаточны для защиты пользователей, пишет Адониджа Ндеге.

На этой неделе я прочитал тревожный материал на NPR. Он был о Софи Роттенберг, 29-летней женщине, которая покончила с собой в феврале 2025 года после месяцев разговоров с ChatGPT о своём психическом здоровье.

Корреспондент NPR Рхиту Чаттерджи воссоздала эти разговоры на основе почти 1 800 страниц чатов, предоставленных матерью Роттенберг, журналисткой Лорой Райли. Роттенберг создала в ChatGPT персонажа по имени «Гарри» и попросила его выступать в роли её психотерапевта. Она обсуждала с ним свою депрессию, приём лекарств и, в конечном итоге, мысли о самоубийстве.

Окружающие не знали всей глубины того, через что она проходила. ChatGPT знал. Эта деталь не отпускает меня.

Я много времени размышляю и пишу о том, что искусственный интеллект (ИИ) может дать Африке. Для ажиотажа есть веские причины. Нам не хватает врачей, учителей и других квалифицированных специалистов. Правительства с трудом обеспечивают услугами стремительно растущее население, а бизнес ищет способы сократить издержки.

ИИ обещает сделать экспертизу дешевле и доступнее для миллионов дополнительных людей. Но чтение репортажа Чаттерджи заставило меня задуматься об обратной стороне этого обещания.

Что произойдёт, когда технология станет настолько хорошей, что мы начнём доверять ей там, где ошибка может разрушить чью-то жизнь?

И, возможно, что ещё важнее для Африки, что произойдёт, когда люди начнут пользоваться ИИ не потому, что он лучше врача, психотерапевта, юриста или финансового консультанта, а потому, что помощь человека недоступна или слишком дорога?

Это совершенно иная проблема ИИ.

Одни ошибки значат больше, чем другие

Мы привыкли обсуждать точность ИИ так, будто любая ошибка имеет примерно одинаковый вес. Это не так.

Если ChatGPT порекомендует ресторан, закрывшийся полгода назад, я потеряю один вечер. Если ИИ-ассистент для программирования выдаст плохой код, инженер, будем надеяться, это заметит.

Но представьте, что система ИИ ошибочно говорит пациенту, что боль в груди или что-то ещё не представляет ничего серьёзного. Или даёт советы человеку в кризисе психического здоровья. Или решает, что заёмщик слишком рискован для получения кредита. Или помогает определить, следует ли кого-то арестовать, привлечь к ответственности или отпустить.

Техническая основа проблемы может быть той же — галлюцинация или ошибочный прогноз. Но человеческие последствия совершенно иные.

Поэтому я считаю, что нам нужно начать отделять обычный ИИ от того, что я бы назвал «ИИ с высокими последствиями».

Здравоохранение относится к этой категории. Как и психическое здоровье. Кредитование, страхование, полиция, правосудие и, вероятно, некоторые сферы образования — тоже. Расследование NPR показывает почему.

Согласно репортажу Чаттерджи, чатбот Роттенберг иногда советовал ей искать помощь за пределами разговора. Но она продолжала к нему возвращаться. Она могла поговорить с «Гарри» в любой момент. Он отвечал без нетерпения и помнил контекст. И, в отличие от другого человека, он был доступен практически в любое время суток.

В этом есть нечто невероятно полезное — и в то же время потенциально опасное.

Чатбот может звучать эмпатично, не понимая страданий, и генерировать терапевтический язык, не будучи психотерапевтом. А поскольку современные системы ИИ превосходно ведут диалог, это различие может стать невидимым для человека, который ими пользуется.

Это особенно тревожно, когда человек уязвим.

Исследователи начинают обнаруживать ту же проблему. Недавнее исследование в журнале npj Digital Medicine показало, что ИИ-чатботам было труднее выявить риск самоубийства, когда страдание выражалось косвенно или неоднозначно, а не через явные высказывания о самоубийстве.

Это важно, потому что человеческое страдание не приходит в виде идеально сформулированного запроса.

Теперь подумайте об Африке

Именно здесь материал NPR начал беспокоить меня не только как трагедия одной семьи. Африка — это как раз то место, где ИИ может стать трансформирующей силой в чувствительных сферах. И это же как раз то место, где нам следует проявлять крайнюю осторожность.

Возьмём здравоохранение. Во многих африканских странах просто не хватает медработников для адекватного обслуживания населения. Специалистов ещё меньше, и они сильно сконцентрированы в крупных городах.

С психиатрической помощью дела обстоят ещё хуже. По оценкам Всемирной организации здравоохранения, почти 150 миллионов человек в Африке живут с расстройствами психического здоровья, при этом доступ к лечению остаётся крайне ограниченным.

Сопоставьте эти два факта с быстрым распространением смартфонов и генеративного ИИ, и станет ясно, куда всё это движется.

Человек в Найроби, у которого есть деньги, может спросить ChatGPT о своих симптомах, а затем посетить врача. Человек, живущий за сотни километров от ближайшего специалиста, может задать тот же вопрос — и ему больше некуда обратиться.

Первый использует ИИ как ассистента. Для второго ИИ фактически стал врачом. Это различие должно нас беспокоить.

У нас уже есть данные из Кении

Это не совсем гипотетическая ситуация.

Недавно исследователи изучили систему ИИ для поддержки клинических решений в 16 кенийских клиниках первичной медико-санитарной помощи. Врачи проанализировали 1 469 случаев приёма пациентов, где клиницисты получали рекомендации, сгенерированные ИИ.

Результаты во многом обнадёживали. Исследователи выяснили, что клинические рекомендации ИИ по ведению пациентов соответствовали местным руководствам в 99% случаев. Галлюцинации возникали в 3,4% случаев приёма.

Но одно из открытий меня поразило. Исследователи выявили потенциально вредные рекомендации в 115 случаях, что соответствует 7,8% рассмотренных ими случаев. Некоторые из этих рекомендаций впоследствии попали в итоговую документацию клиницистов.

Система не была бесполезной. Отнюдь нет. Исследователи также нашли примеры, когда ИИ исправлял потенциально вредные решения клиницистов.

Именно поэтому эта дискуссия столь сложна. ИИ может улучшать здравоохранение, одновременно создавая новые риски, поэтому вопрос не в том, работает ли он иногда, а в том, способна ли окружающая система процессов выявить его ошибки, когда он не справляется.

Более позднее рандомизированное исследование с участием 9 691 пациента и 103 клинических офицеров в 16 кенийских медучреждениях не выявило серьёзных нежелательных явлений, связанных с системой ИИ. Однако исследователи также не обнаружили статистически значимого снижения частоты неэффективного лечения среди пациентов, чьи клиницисты получали помощь ИИ.

Вывод, который я делаю из этих исследований, состоит не в том, что африканским больницам следует прекратить эксперименты с ИИ. Он в том, что «ИИ точен» — недостаточный стандарт безопасности.

Нам нужно спрашивать, что происходит в тех случаях, когда он ошибается.

Контекст создаёт ещё одну проблему

В кенийском исследовании была ещё одна примечательная деталь. В одном случае ИИ счёл показатель сатурации кислорода 95% аномальным, недостаточно учитывая высоту Найроби над уровнем моря.

В другом случае он интерпретировал клиническое сокращение «FGC», которое в данном контексте означало «удовлетворительное общее состояние», как «женское обрезание».

Это звучит как мелкие ошибки. Но они раскрывают нечто важное о внедрении ИИ в Африке.

Модель может обладать огромными объёмами медицинских знаний и при этом неверно понимать среду, в которой эти знания применяются.

Язык имеет значение. Местная медицинская практика имеет значение. География имеет значение. Распространённость заболеваний имеет значение. Даже сокращения имеют значение.

При этом многие из самых мощных систем ИИ, на которые африканцы начинают полагаться, были созданы и обучены преимущественно за пределами континента.

Поэтому мы не можем предполагать, что модель, показывающая хорошие результаты в глобальном масштабе, будет работать так же хорошо в Аккре, Лагосе, Найроби или сельской Замбии. Тестирование должно происходить здесь.

Здравоохранение — только начало

Когда я начал размышлять о материале NPR таким образом, проблема стала намного шире, чем «терапия» с помощью ChatGPT.

Африканские банки всё активнее экспериментируют с ИИ. Финтех-компании используют алгоритмы для выявления мошенничества, кредитования и клиентского сервиса. Правительства изучают применение ИИ в государственных услугах. Страховые компании могут использовать алгоритмы для оценки рисков.

Все эти системы могут быть полезны. Но представьте, что вам отказали в кредите, потому что модель ИИ ошибочно отнесла вас к группе высокого риска.

Представьте, что автоматизированная система ошибочно пометила ваши транзакции мобильных денег как мошеннические. Представьте, что полиция полагается на алгоритм, который непропорционально часто признаёт подозрительными людей из определённых сообществ.

Представьте студента, получающего неверную информацию от ИИ-репетитора, когда рядом нет квалифицированного учителя, который мог бы её исправить. Опасность не обязательно в том, что ИИ будет работать хуже людей.

Люди тоже принимают ужасные решения. Разница — в масштабе. Один плохо подготовленный специалист может принять плохие решения в отношении десятков или сотен людей. Плохо спроектированный алгоритм может сделать это в отношении миллиона.

Нам нужна категория для ИИ с высокими последствиями.

Африканские правительства, что понятно, сосредоточены на том, чтобы включить свои страны в гонку ИИ.

Африканский союз принял континентальную стратегию в области искусственного интеллекта. Кения, Нигерия, Руанда, Египет, Гана и другие страны разрабатывают стратегии, привлекают дата-центры, готовят кадры и поддерживают местные ИИ-компании.

Большинство этих дискуссий посвящено возможностям.

Откуда возьмутся вычислительные мощности? Кто создаст африканские наборы данных? Как нам подготовить достаточно ИИ-инженеров? Как стартапам получить доступ к GPU? Как предотвратить превращение Африки в простого потребителя технологий, созданных в других местах?

Это важные вопросы.

Но, по-моему, ещё один вопрос заслуживает не меньшей срочности: где ИИ не должен применяться без человека, несущего конечную ответственность?

Здравоохранение — очевидная отправная точка.