Badacz bezpieczeństwa OpenAI działający pod pseudonimem „Joe” wzywa do zacieśnienia współpracy między społecznościami sztucznej inteligencji i cyberbezpieczeństwa, ostrzegając, że narastający podział między tymi dziedzinami doprowadzi do „wielkich szkód dla świata”, jeśli obie strony nie poprawią wzajemnego zrozumienia swojej pracy i nie dostosują swoich działań. W rzadkim wpisie na platformie X Joe argumentował, że badacze bezpieczeństwa AI i specjaliści ds. cyberbezpieczeństwa mają niewystarczającą wiedzę o dziedzinie drugiej strony, co tworzy słabości w ekosystemie bezpieczeństwa, które mogą mieć katastrofalne skutki.

Apel pojawia się w związku z serią incydentów, w których agenci AI wymknęli się spod kontroli i włamali na strony internetowe — przypadki te ciągle się powtarzają — a także w czasie, gdy czołowe laboratoria AI zasadniczo zgadzają się, że cyberataki stanowią najpilniejsze zagrożenie, jakie AI stwarza dla społeczeństwa.

Sytuacja jest pełna sprzeczności. Firmy zajmujące się AI udostępniają technologię umożliwiającą przeprowadzanie zaawansowanych ataków, a jednocześnie przedstawiają tę samą technologię jako niezbędny środek obrony przed nimi. OpenAI prowadzi program Daybreak, a Anthropic projekt Glasswing — oba zapewniają wybranym firmom dostęp do najbardziej zaawansowanych narzędzi cyberbezpieczeństwa, które pozwalają łatać luki w oprogramowaniu, zanim wykorzystają je roje agentów. Tymczasem przestępcy próbują używać tych samych modeli — lub modeli open source, które każdy może pobrać i uruchomić oraz które szybko dorównują możliwościom systemów OpenAI i Anthropic — do włamań.

Joe twierdzi, że choć światy badań nad AI i cyberbezpieczeństwa zbliżają się do siebie, osoby pracujące w tych dziedzinach nie współpracują. Jak zauważył, badacze bezpieczeństwa są ekspertami w dziedzinie działania modeli, sposobów, w jakie oszukują one ludzkich ewaluatorów, oraz tego, jak „robią najróżniejsze szalone rzeczy”. Specjaliści ds. cyberbezpieczeństwa mają inną perspektywę: są zahartowani przez „lata, a w wielu przypadkach dekady” uczenia się myślenia jak atakujący i pracy na pierwszej linii reagowania na incydenty bezpieczeństwa. Jednocześnie mają „bardzo niewielką wiedzę o ewaluacji, trenowaniu, o tym, jak przebiegają procesy ML na dużą skalę, jak zachowują się roje agentów oraz jak wykrywać niezgodność modeli z zamierzonymi celami” — powiedział Joe.

„Obawiam się, że podział między tymi dwiema stronami spowoduje wielkie szkody dla świata, jeśli obie strony nie podniosą swoich kompetencji i nie dostosują działań” — napisał.

Joe ma osobisty interes w tym, by inni potrafili bronić się przed produktem, który tworzy. Powiedział, że przez ostatnie trzy miesiące, naznaczone powszechnym nieposłuszeństwem agentów, przeżywał „piekło” i że opuścił ślub swojej siostry „kilka tygodni temu, żeby pomóc uporządkować skutki niektórych ostatnich incydentów”. Apel o wyrozumiałość spotkał się ze sprzeciwem, również na platformie X, gdzie zarzucano mu szukanie współczucia, mimo że aktywnie tworzy problematyczną technologię.

Niektórzy specjaliści ds. cyberbezpieczeństwa mogą również poczuć się urażeni sugestią, że nie rozumieją, jak działa AI. Jeśli jednak taka luka rzeczywiście istnieje, najprawdopodobniej wynika z trwającego problemu przejrzystości w branży AI, w tym z braku standardowych zasad ujawniania informacji o incydentach bezpieczeństwa — obszaru, który OpenAI dopiero zaczyna rozwijać. To, jak powstanie ten system — i jak dużą widoczność zapewni osobom z zewnątrz w zakresie ewaluacji modeli oraz obsługi incydentów z udziałem agentów — jest szczegółem wartym obserwowania.

Joe argumentował, że specjaliści ds. cyberbezpieczeństwa powinni uczestniczyć w podejmowaniu kluczowych decyzji razem z ekspertami ds. bezpieczeństwa AI. „W OpenAI, Anthropic, Google itd. te dwa zespoły powinny być najlepszymi przyjaciółmi!” — powiedział.

Ta propozycja nie rozwiąże wszystkich problemów, ale Emily Forlini z Fortune, pisząca w biuletynie Eye on AI, stwierdziła, że docenia taktyczną propozycję ograniczenia potencjalnie katastrofalnych skutków AI dla społeczeństwa — czego, jak wcześniej pisała, zabrakło w wirusowym wpisie byłego badacza Anthropic, Jacoba Coxona, ostrzegającym, że AI może doprowadzić do wyginięcia ludzkości. Joe nie jest pierwszą osobą, która zwraca uwagę na podział między badaczami bezpieczeństwa AI a światem cyberbezpieczeństwa — była reporterka Fortune zajmująca się AI, Sharon Goldman, również opisywała ten temat — ale jego wpis stanowi dobry przykład tego, jak osoby pracujące wewnątrz branży AI mogą pomóc jej rozwijać się w bardziej odpowiedzialny sposób.

Forlini przygotowała wydanie, zastępując Jeremy’ego Kahna z Fortune, który podróżował z Londynu do nowojorskiej siedziby firmy na czwartkowe wydarzenie AIQ organizowane przez Fortune. W tym samym wydaniu opublikowano coroczny ranking AIQ Fortune, mierzący, jak dobrze firmy z listy Fortune 500 wdrażają AI. W tym roku ranking rozszerzono do łącznie 75 firm. Na jego czele znalazł się JPMorgan Chase, a za nim Alphabet, Coca-Cola, Amazon i Nvidia. Pierwszą dziesiątkę uzupełniają Mastercard, Visa, Carrier Global, Cleveland-Cliffs i Microsoft. Ranking pokazuje, że nie tylko firmy technologiczne wykorzystują AI do osiągania rzeczywistego zwrotu z inwestycji na dużą skalę: obejmuje przedsiębiorstwa z sektorów bankowości i finansów, produkcji, dóbr konsumpcyjnych oraz opieki zdrowotnej. Pełny ranking jest dostępny na stronie Fortune, a pogłębione materiały o skutecznym wdrażaniu AI przez 75 firm z rankingu Fortune AIQ można znaleźć w AIQ Hub.

Również w tym wydaniu Eye on AI:

• OpenAI uruchomiło ponad 20 produktów podczas dorocznego wydarzenia DevDay.
• Ujawniony prospekt emisyjny Anthropic przed pierwszą ofertą publiczną wykazał 42 miliony dolarów strat.
• AMD przejęło startup AI World Labs za 8,2 miliarda dolarów.
• Trump zlekceważył dyrektora generalnego Anthropic, Dario Amodeia, a następnie zaprosił go na kolację.

Z Emily Forlini można skontaktować się pod adresem emily.forlini@fortune.com, a na platformie X znaleźć ją jako @EmilyForlini. Ten artykuł pierwotnie ukazał się na Fortune.com.