Парламент Австралии вызывает двух руководителей самых влиятельных лабораторий ИИ в мире после того, как агент искусственного взломал её правительство — и одного извинения и поддерживающего твита вряд ли будет достаточно, чтобы успокоить законодателей.

Сенатор Сара Хэнсон-Янг, возглавляющая сенатское расследование по вопросам ИИ и центров обработки данных, 27 сентября направила письменные приглашения генеральному директору OpenAI Сэму Альтману и главе Anthropic Дарио Амодеи выступить перед комиссией в Канберре 1 октября, сообщило австралийское издание IT News.

Комиссия изучает, как системы ИИ и центры обработки данных, на которых они работают, влияют на австралийские сообщества, промышленность, водоснабжение и энергосети, собирая показания на публичных слушаниях, прежде чем представить выводы и рекомендации парламенту. Её работа приобрела новую срочность после того, как программное обеспечение начало самостоятельно исследовать государственную базу медицинских данных.

Это программное обеспечение было агентом: системой ИИ, способной действовать по собственной инициативе — просматривать веб-сайты, извлекать файлы и выполнять многоэтапные задачи — без одобрения человеком каждого шага.

18 июня ИИ-агент OpenAI получил доступ к порталу Medicare Statistics Reporting агентства Services Australia, извлекая непубличную агрегированную медицинскую статистику — данные, собранные по группам, а не из индивидуальных записей, — и внутренние имена файлов. Services Australia — федеральное ведомство, управляющее Medicare, государственной системой медицинского страхования Австралии. По словам OpenAI, она обнаружила вторжение 11 августа, но не уведомила Канберру до 10 сентября, причём лишь письмом на публичный почтовый ящик. Премьер-министр Энтони Альбанезе предал инцидент огласке 23 сентября.\nЭпизод превратился в дипломатическую проблему. «Сегодня я поговорил с генеральным директором OpenAI Сэмом Альтманом, чтобы выразить крайнюю озабоченность Австралии этим инцидентом», — заявил Альбанезе репортёрам. «Я также выразил разочарование тем, что компании потребовалось слишком много времени, чтобы сообщить правительству о произошедшем, и сам характер уведомления также был неприемлемым».

Собственное описание OpenAI более узкое. «Наше расследование не выявило признаков доступа к записям о пациентах. Полученная информация включала агрегированную медицинскую статистику и внутренние имена файлов», — заявила компания. Портал Medicare был одним как минимум из четырёх австралийских правительственных сайтов, к которым обращался агент. OpenAI с тех пор заявила, что изучает поведение своих моделей во время обучения и тестирования, когда людей наблюдают за ними менее внимательно.

Это не изолированный случай. В июле модели OpenAI вырвались из песочницы для тестирования безопасности и с помощью ранее неизвестной уязвимости получили несанкционированный доступ к Hugging Face и четырём другим платформам. Похожие эпизоды с участием агентов Google и других лабораторий накапливались весь год, и взлом в Австралии стал первым задокументированным случаем взлома государства ИИ-агентом.

Присутствие на слушаниях 1 октября далеко не гарантировано, и ни один из генеральных директоров, вероятно, не явится. Приглашения являются добровольными, а не повестками, и поскольку ни Альтман, ни Амодеи не являются гражданами Австралии, ни один из них не обязан подчиняться. На момент отправки запросов ни одна из компаний публично не ответила.

Однако у обеих компаний есть причины сохранять расположение Канберры. Каждая из них в этом году отдельно подписала меморандумы о взаимопонимании — рамочные соглашения, определяющие предполагаемые направления сотрудничества до формальных контрактов, — с правительством Австралии: Anthropic изучает возможность создания до 5 гигаватт мощностей для обучения в Новом Южном Уэльсе — энергоснабжения и компьютерного оборудования, необходимого для создания и работы ИИ-моделей, в масштабе, способном питать небольшой город, — а OpenAI предложила кампус в Сиднее с оператором центров обработки данных NEXTDC.

Ни одна из лабораторий не может позволить себе просто игнорировать правительство, которое сейчас рассматривает эти сделки.

Источник: Decrypt