Poniższy tekst jest artykułem opinii autorstwa Samuela Vance-Lawa, szefa badań w Decentralization Research Center, w którym argumentuje on, że jeśli audyty przewidziane w porozumieniu z Białym Domem dotyczącym AI mają mieć jakąkolwiek wartość, audytorzyinni móc sami wybierać, co badają.

W ubiegłym tygodniu sześć najbardziej potężnych firm zajmujących się sztuczną inteligencją na świecie obiecało Białemu Domowi, że pozwoli osobom z zewnątrz sprawdzać swoją pracę.

29 września Nvidia, OpenAI, Anthropic, Google, Meta i xAI podpisały porozumienie dotyczące najbardziej zaawansowanych modeli AI — umowę, którą prezydent USA Donald Trump nazwał „wiążącą moralnie”. Każda z firm zobowiązała się, że będzie „współpracować z niezależnym audytorem lub ewaluatorem zewnętrznym”, a niezależni członkowie rad nadzorczych będą przeglądać raporty audytorów i dopilnować, aby wykryte problemy zostały naprawione.

Audyty zewnętrzne to dobry pomysł i Vance-Law cieszy się, że znalazły się w porozumieniu. Jak pisze, porozumienie nie mówi jednak nic o tym, kto wybiera audytorów, co mogą oni badać ani czy wyniki zostaną upublicznione — a za jego ignorowanie nie grożą żadne konsekwencje. W obecnym kształcie każda firma wybiera własnego audytora i decyduje, co ten audytor może obejrzeć.

Taki układ przypomina przestrogę z historii korporacyjnej. W 2000 roku Enron zapłacił firmie audytorskiej Arthur Andersen — niegdyś częścią tzw. „Wielkiej Piątki” międzynarodowych firm księgowych, dziś „Wielkiej Czwórki” po implozji Arthur Andersena — 25 milionów dolarów za audyt ksiąg oraz kolejne 27 milionów dolarów za usługi podatkowe i doradcze. ciągu dwóch lat obie firmy upadły. Kongres odpowiedział ustawą Sarbanes-Oxley z 2002 roku, która odebrała kierownictwu prawo wyboru audytora — dokładnie tę kompetencję, którą nowe porozumienie pozostawia każdej firmie AI — zakazała audytorom sprzedaży większości innych usług badanym przez siebie firmom oraz powołała publiczną radę do kontroli samych audytorów.

Andersen nie poniósł porażki z powodu braku wiedzy, lecz dlatego, że brakowało mu bodźca, by przyglądać się z należytą surowością klientowi płacącemu mu 52 miliony dolarów w ciągu jednego roku.

Dobrowolne zobowiązania w branży AI również nie mają mocnej noty. W 2023 roku wiodące firmy AI złożyły wobec Białego Domu szereg dobrowolnych zobowiązań, w tym pozwolenie zewnętrznym ekspertom na testowanie ich systemów przed premierą. Gdy badacze ze Stanford, Harvardu i Brown ocenili 16 firm pod kątem tych zobowiązań, średnia wyniosła 53%. W kwestii obietnicy pomocy osobom z zewnątrz w znajdowaniu i zgłaszaniu problemów osiem z 16 firm otrzymało zerową ocenę.

Nawet gdy testy zewnętrzne się odbywają, warunki ustala twórca. METR, organizacja non profit testująca modele AI, napisała, że jej testy modelu o3 od OpenAI przed premierą były „przeprowadzone w ciągu zaledwie trzech tygodni”, z „ogiczonym dostępem do informacji o modelu” i bez wglądu w krok po kroku rozumowanie modelu. Na korzyść OpenAI należy powiedzieć, że w ogóle pozwoliło na testy — ale ten epizod pokazuje, jak wiele zależy od tego, co firma zdecyduje się udostępnić.

Wytrenowany model AI to w istocie bardzo duży plik liczb, często kosztujący ponad 100 milionów dolarów, a kto ma jego kopię, ten ma model. Przekazywanie kopii osobom z zewnątrz stanowi ryzyko bezpieczeństwa. Do niedawna pozostawiało to testerom niezręczny wybór, który Google DeepMind dobrze opisał: albo testerzy przekazują swoje pytania, więc firma widzi egzamin z wyprzedzeniem, albo firma przekazuje swój model.

W sierpniu DeepMind pokazał sposób obejścia tego dylematu. Współpracując z singapurskim AI Safety Institute i trzema innymi zewnętrznymi grupami, przeprowadził — jak twierdzi — pierwszy na świecie podwójnie ślepy test modelu AI, według tej samej zasady co podwójnie ślepa próba leku. Test odbywał się na zapieczętowanym sprzęcie komputerowym, więc zewnętrzni testerzy nigdy nie widzieli model, a Google nigdy nie widział ich pytań. Google twierdzi, że każda strona może w sposób matematyczny sprawdzić, czy jej materiały pozostały prywatne.

Takie podejście przenosi także zaufanie na sam sprzęt. W zeszłym roku badacze włamali się do tego rodzaju zapieczętowanego sprzętu za pomocą urządzeń o wartości mniejszej niż 1000 dolarów, choć potrzebowali fizycznego dostępu do serwera. Warto to brać poważnie, ale to znacznie mniejszy problem niż „nie możemy pozwolić nikomu podejść do modelu”, a można nim zarządzać, dbając o to, ktouje maszyny.

Argumentacja opiera się na raporcie „Alternatives to Concentrated AI”, opublikowanym w tym tygodniu przez Decentralization Research Center. Do raportu Vance-Law i współautor Kyle Bligen przeprowadzili wywiady z 36 osobami i zmapowali niemal 30 działających alternatyw dla scentralizowanej kontroli nad AI. Główny wniosek: osoby z zewnątrz mogą teraz badać zaawansowaną AI bez przejmowania modelu ani jego danych.

Jeśli — jak argumentuje Vance-Law — audyty przewidziane w porozumieniu mają mieć jakąkolwiek wartość, audytorzy powinni sami wybierać, co badają, skoro mogą to robić bez przejmowania kopii modelu. Firmy powinny też ujawniać, kim są ich audytorzy i co obejmowały audyty, nawet jeśli szczegółowe wyniki pozostaną prywatne — spółki publiczne od dziesięcioleci podają nazwiska swoich audytorów, nie ujawniając tajemnic handlowych. A komitety rad nadzorczych czytające te raporty powinny odpowiadać przed kimś spoza firmy. Sarbanes-Oxley stworzyło kontrolera dlaerów. Porozumienie nie ma niczego podobnego i do Kongresu należy decyzja, co wypełni tę lukę.

Uwaga: poglądy wyrażone w tym artykule są poglądami autora i niekoniecznie odzwierciedlają stanowisko CoinDesk, Inc. ani jej właścicieli i podmiotów stowarzyszonych.