Anthropic nie może już blokować ustaleń dotyczących bezpieczeństwa, które non-profitowa organizacja oceniająca AI, METR, publikuje na temat firmy. W oficjalnym ogłoszeniu w czwartek laboratorium AI poinformowało, że sześciu wbudowanych badaczy z organizacji posiada obecnie dostęp niemal równy dostępowi własnych pracowników.

Dostęp na poziomie pracowniczym dla zewnętrznych ewaluatorów

METR, który ocenia modele AI na granicy możliwości, pracuje obecnie z zasadniczo tym samym sprzętem Anthropic, przestrzenią roboczą i narzędziami wewnętrznymi, których używają własne zespoły oceny ryzyka firmy. Pracownicy Anthropic otrzymali instrukcje, aby przekazywać ewaluatorom dokładnie tyle samo informacji, ile udzieliliby innemu pracownikowi zajmującemu się ryzykiem związanym z wyrównaniem (alignment).

Zgodnie z ustaleniami METR samodzielnie oceni poziomy ryzyka, incydenty i praktyki Anthropic, a następnie opublikuje wyniki bez pytania o zgodę firmy. Decyzja o publikacji spoczywa zatem po stronie ewaluatora, a nie laboratorium, w przeciwieństwie do ocen pierwszego poziomu, gdzie publikacja nadal wymaga aprobaty Anthropic.

Niewielki, wcześniej zdefiniowany zestaw kategorii pozostaje objęty możliwością zaciemnienia przez Anthropic: dane klientów, materiały objęte tajemnicą adwokacką oraz szczegóły architektur modeli. METR ma również prawo publicznie stwierdzić, czy dane zaciemnienie było konieczne, o ile nie ujawnia, co zostało ukryte.

Anthropic opisuje to rozwiązanie w kategoriach luki informacyjnej. Osoby z zewnątrz wiedzą znacznie mniej o systemach laboratorium niż samo laboratorium, a pełne ujawnienie informacji mogłoby pomóc złośliwym podmiotom lub doprowadzić do wycieku prywatnych danych treningowych i obliczeniowych. Firma przywołała analogię do nadzoru bankowego, w którym regulatorzy umieszczają rezydujących egzaminatorów w największych bank, tak aby ryzykowne zachowania mogła wychwycić strona trzecia, zanim dotrą one do opinii publicznej.

Zespół METR działa na podstawie prawnie wiążących umów. Inni badacze METR, w tym ci pracujący nad osobnymi projektami dla Anthropic, są oddzieleni od jego pracy.

Trzy poziomy dostępu dla ewaluatorów

Anthropic buduje trzy poziomy dostępu zewnętrznego, a METR jest jak dotąd jedynym ewaluatorem na najwyższym z nich. Ewaluatorzy pierwszego poziomu przeprowadzają wąskie zakresowo oceny i potrzebują aprobaty Anthropic, aby publikować. Drugi poziom oferuje więcej informacji i pozwala publikować bez zgody, z zastrzeżeniem tych samych kategorii zaciemnień. Trzeci poziom dodaje wbudowany, zbliżony do pracowniczego dostęp, który posiada obecnie METR.

SecureBio, non-profitowa organizacja zajmująca się bezpieczeństwem biologicznym, znajduje się na poziomie pierwszym. Ukończyła i opublikowała pilotażową ocenę wcześniejszego raportu o ryzyku i obecnie pracuje nad rozdziałem o broni chemicznej i biologicznej w Sierpniowym Raporcie o Ryzyku.

Anthropic buduje również partnerstwo z Accenture i Faculty obejmujące red-teaming, oceny wyrównania i testy zabezpieczeń. Trwają wczesne rozmowy z innymi grupami, w tym z Hugging Face.

Od wrześniowego eseju Amodei do zobowiązań branżowych

Posunięcie realizuje wrześniowy esej CEO Dario Amodei, w którym wzywał branżę do tempa w rozwoju modeli na granicy możliwości. Jak wówczas donosił Cryptopolitan, Amodei zaproponował zapewnienie zewnętrznym oceniającym biurek, identyfikatorów, laptopów i poziomów dostępu podobnych do tych, które mają pracownicy zajmujący się oceną ryzyka.

Sam Altman z OpenAI poparł ten pomysł na X. "Zobowiązanie się do posiadania niezależnych ewaluatorów z dostępem zbliżonym do pracowniczego to świetny pomysł i my zrobimy to samo", napisał Altman.

Anthropic, Google i OpenAI rozmawiały także o utworzeniu wspólnego branżowego organu normalizacyjnego. Wszystkie trzy firmy, wraz z Meta, Nvidia i xAI, podpisały od tego czasu Biały Dom Porozumienie w sprawie Superinteligencji (White House Accord on Super Intelligence), zobowiązując się do współpracy z niezależnymi audytorami.

Ogłoszenie następuje również po serii incydentów od końca sierpnia, w których agenci AI działali ponad swoje instrukcje. Kolejne punkty odniesienia są konkretne: postępy SecureBio w rozdziale o broni chemicznej i biologicznej Sierpniowego Raportu o Ryzyku, ustalenia publikowane przez METR na mocy nowych praw do publikacji oraz to, czy OpenAI wdroży dostęp zbliżony do pracowniczego, który Altman zapowiedział. Wspólnie pokażą one, jak daleko niezależna ewaluacja przechodzi od obietnic do praktyki w pozostałej części branży.