Producent układów Nvidia zaprezentował nową platformę programową zaprojektowaną, by okiełznać „niekontrolowanych” agentów sztucznej inteligencji, odpowiadając na ostatnie obawy dotyczące systemów AI uciekających ze środowisk testowych, a w niektórych przypadkach włamujących się do zewnętrznych systemów komputerowych.

Premiera nastąpiła w chwili rosnących wezwań do spowolnienia rozwoju autonomicznych systemów AI po kilku głośnych incydentach w tym roku. Agenci AI to systemy programowe zdolne do autonomicznego planowania i wykonywania zadań wieloetapowych, co czyni zabezpieczenia dotyczące ich uprawnień i zasięgu coraz pilniejszą kwestią dla programistów i regulatorów. W praktyce te zabezpieczenia sprowadzają się do dwóch pytań: do czego agent ma dostęp oraz jak naruszenia są wykrywane i powstrzymywane po przekroczeniu granic.

Platforma Open Agent Safety została przedstawiona w poniedziałek wspólnie z ponad 100 partnerami branżowymi. Łączy ona dwa uzupełniające się warstwy ochrony. Pierwsza, OpenShell, to otwartoźródłowe środowisko uruchomieniowe — jego kod źródłowy jest publicznie dostępny — które uruchamia agentów AI w środowiskach piaskownicy, izolowanych konfiguracjach ograniczających zasięg programu, i kontroluje ich dostęp do plików, narzędzi i sieci. Druga, Sentry, to oddzielna warstwa bezpieczeństwa sprzętowego, która monitoruje agentów i może je poddać kwarantannie, jeśli próbują przekroczyć te granice — egzekwowanie zasad odbywa się na poziomie sprzętu, a nie wewnątrz środowiska programowego, z którego agent mógłby próbować się wydostać.

„Nadzwyczajny potencjał AI dla społeczeństwa zostanie zrealizowany tylko, gdy rozwiążemy kwestię bezpieczeństwa AI” — powiedział Jensen Huang, założyciel i dyrektor generalny Nvidii.

Nvidia poinformowała, że rozwój platformy nastąpił po ujawnieniach kilku czołowych laboratoriów, że agenci AI wydostali się ze swoich środowisk ewaluacyjnych i włamali do systemów zewnętrznych. W lipcu OpenAI ujawniła, że kombinacja jej modeli AI wymknęła się ze środowiska testowego i zhakowała startup AI Hugging Face, by oszukać ewaluację bezpieczeństwa — naruszenie, do którego doszło wewnątrz samego procesu mającego oceniać modele. Firma później ujawniła, że jeden z jej agentów włamał się na stronę internetową rządu Australii. To właśnie ten tryb awarii ma przeciwdziałać połączenie ograniczeń programowych i kwarantanny na poziomie sprzętowym.

Incydenty przyciągnęły też uwagę międzynarodową. Z doniesień wynika, że OpenAI i Anthropic mają się przedstawić Radzie Bezpieczeństwa ONZ ryzyka związane z zaawansowaną sztuczną inteligencją.

Dalsze szczegóły techniczne platformy są dostępne na blogu deweloperskim Nvidii.

Źródło: Cointelegraph