Coinbase, największa amerykańska giełda kryptowalut, informuje, że cykl testowania wsparcia obejmujący około 90 przypadków, który wcześniej wymagał od jednego do dwóch tygodni ręcznego przygotowania i wykonania, można teraz zrealizować w 30–45 minut. Dane, ujawnione przez inżynierów firmy 21 września, stanowią konkretny dowód na poparcie dążeń CEO Briana Armstronga do przekształcenia giełdy w firmę natywną dla AI.

Narzędzie stojące za tym wynikiem nazywa się Autopilot. Testuje ono procedury, których przestrzegają boty wsparcia Coinbasu przy obsłudze problemów klientów, i wymaga zatwierdzenia przez człowieka przed wdrożeniem jakiejkolwiek zmiany procedury do produkcji. Nierozstrzygniętym testem modelu operacyjnego Armstronga jest to, czy szybsze opracowywanie procedur przełoży się na niezawodne wsparcie i rozliczalne działania na kontach klientów.

Klienci potrzebują prawidłowego rozwiązywania problemów z kontem oraz tego, by ich dane były dostępne wyłącznie z właściwą autoryzacją. Ujawnienia Coinbasu opisują prace zmierzające do zaspokojenia obu tych potrzeb, pozostawiając jednak wpływ na klientów bez pomiaru. Zatwierdzanie zmian, ograniczanie uprawnień i mierzenie rzeczywistych rezultatów pozostają obowiązkami operacyjnymi w miarę automatyzacji kolejnych obszarów pracy firmy.

Sk pochodzi oszczędność czasu

Armstrong ogłosił około 14-procentową redukcję zatrudnienia w memorandum z 5 maja, powołując się zarówno na słaby rynek kryptowalut, jak i na zmianę sposobu pracy pracowników pod wpływem AI; redukcję tę osobno szacowano na około 700 osób. Proponował on mniej szczebli zarządzania, liderów, którzy bezpośrednio współtworzą pracę, mniejsze zespoły natywne dla AI oraz eksperymenty z jednoosobowymi zespołami.

Wrześniowe inżynierskie ujawnienie przenosi ten argument operacyjny na konkretny proces wsparcia. Według Coinbasu jego boty sprawdzają stan konta, podejmują ograniczone zakresowo działania i przekazują problemy wymagające większej oceny człowiekowi. Autopilot pomaga utrzymywać procedury, których te boty przestrzegają.

Serwis testowy tworzy izolowanych użytkowników testowych i symulowane stany kont, prowadzi symulowane rozmowy, rejestruje transkrypcje i wyniki narzędzi oraz ocenia przebieg względem oczekiwanego zachowania. Agenci mogą pomagać w generowaniu testów, a powtarzalny mechanizm wykonawczy je uruchamia. Coinbase informuje, że wdrożył system hybrydowy łączący serwis testowy, bramy wydawnicze działające w GitHub Actions — szeroko używanej usłudze automatyzacji do wykonywania przepływów pracy oprogramowania — oraz interfejs dostępny zarówno dla zespołów inżynierskich, jak i pozainżynierskich.

Właśnie ten podział pracy nadaje porównaniu czasu sens. Powtarzalne tworzenie kont testowych, prowadzenie rozmów i zbieranie wyników to typowa powtarzalna praca, którą współdzielony serwis może wykonywać w spójny sposób. Szybsza walidacja może uczynić praktycznym częstsze sprawdzanie zmian procedur, o ile przypadki testowe i oczekiwane wyniki pozostają właściwe.

Przedstawione porównanie dotyczy wyłącznie cyklu walidacji — czasy reakcji na zgłoszenia klientów i oszczędności kadrowe wykraczają poza jego zakres. Powiązanie tego cyklu z redukcją zatrudnienia wymagałoby dowodów na to, jakie zadania zostały zastąpione i jakim kosztem.

Krótszy cykl testowania daje Coinbase większe możliwości oceny zmian. To, czy te możliwości przełożą się na lepsze wsparcie, zależy od tego, co obejmują testy, co recenzenci robią ze swoimi ustaleniami i jak zmodyfikowane procedury sprawdzają się po wdrożeniu.

Ocena przez człowieka pozostaje na granicy wydania

Autopilot wykorzystuje rozmowy adwersaryjne oprócz testów oczekiwanego zachowania. Coinbase przyaje, że model AI ocenia te rozmowy, ale jednocześnie uznaje, że oceniający może się mylić. Oceny trafiają do przeglądu przez człowieka i bram wydawniczych, zamiast samodzielnie decydować o gotowości procedury.

Granica wydania oddziela zaproponowaną procedurę od takiej, której bot wsparcia może używać wobec klientów. Agenci mogą sugerować zmiany, ale osoba fizyczna musi zatwierdzić zapisy produkcyjne i aktywację.

Jest to zabezpieczenie przed zautomatyzowaną pętlą jakości promującą własną pracę bez przeglądu, a jednocześnie oznacza, że przegląd pozostaje obowiązkiem operacyjnym w miarę przyspieszania działania systemu.

Zakres zatwierdzania należy interpretować precyzyjnie. Oświadczenie Coinbasu dotyczy zmian procedur wsparcia i ich aktywacji. Nie mówi ono, że człowiek zatwierdza każde działanie wdrożonego bota względem konta konkretnego klienta.

Dalsza automatyzacja pozostaje nieukończona. Coinbase informuje, że odkrywanie, tworzenie, testowanie i analiza już istnieją, natomiast orkiestracja — od zidentyfikowanej luki wydajnościowej do wdrożonej procedury — jest wciąż rozwijana. Nieukończona pozostaje też w pełni współdzielona umowa dotycząca podsumowań rozmów. Pozostawia to pracę integracyjną obok korzyści automatyzacji: system, który identyfikuje słaby przepływ, generuje poprawkę i ją testuje, wciąż wymaga niezawodnego przekazywania informacji między tymi krokami oraz rozliczalnej decyzji o wydaniu.

Uprawnienie do działania to osobna kontrola

Ujawnienie Coinbasu z 18 sierpnia dotyczące operacji wewnętrznych odnosi się do innego elementu ochrony klientów: kto może uzyskiwać dostęp do danych klientów i kto może je zmieniać.

Firma opisuje Control Center jako odrębną współdzieloną platformę dla działów wsparcia, zgodności, prawnych, ryzyka i inżynierii. Coinbase nie określił zakresu jej pokrycia dla Autopilota. W ramach platformy autoryzacja, rejestry audytowe, zatwierdzenia i limity częstotliwości znajdują się przed usługami bazowymi.

Kontrole uprawnień uwzględniają zarówno żądane działanie, jak i konkretnego klienta. Operacjaaniczona do klienta bez niezbędnego kontekstu klienta jest odrzucana. Dostęp jest powiązany z przypisanymi zgłoszeniami, ograniczony do zainteresowanych klientów i ustawiony na wygaśnięcie.

W przypadku wyznaczonych wrażliwych zmian, takich jak zwroty środków, zmiany stanu konta i nadpisania limitów, platforma oddziela zaproponowanie zmiany od jej wykonania. Wniosek trafia do przeglądu, wymagane zatwierdzenia muszą nadejść, a oddzielny egzekutor następnie wykonuje zmianę. Błędy są zarezerwowane dla obsługi przez człowieka.

Te mechanizmy kontroli odpowiadają na pytania, na które testowanie konwersacyjne nie jest w stanie odpowiedzieć samodzielnie. Procedura może opisywać oczekiwaną odpowiedź, podczas gdy system autoryzacji decyduje, czy wywołujący może uzyskać dostęp do danych danego klienta; zasady zatwierdzania decydują, czy wrażliwa zmiana może zostać przeprowadzona.

Control Center uwidacznia również pracę ciągłą. Coinbase informuje, że nowe typy klientów, w tym zautomatyzowani agenci, muszą zostać objęte zasadami autoryzacji, audytu i limitów częstotliwości, z ponowną walidacją granic uwierzytelniania w miarę zmian wywołujących.

Ustalenie, w jaki sposób te mechanizmy odnoszą się do automatyzacji wsparcia, wymagałoby jaśniejszego opisu, które boty i działania przechodzą przez kontrole uprawnień i zatwierdzeń. Odpowiednią miarą pokrycia jest zbiór operacji klientów objętych tymi zasadami.

Dla modelu operacyjnego natywnego dla AI konsekwencja jest prosta: dodawanie zautomatyzowanych wywołujących nadal wymaga, by ktoś utrzymywał zasady określające ich uprawnienia. Architektura może uczynić tę pracę bardziej spójną, ale jej skuteczność zależy od utrzymywania każdego nowego wywołującego w ramach zasad. Dostęp powiązany ze zgłoszeniami jest konkretnym przykładem: uprawnienia muszą nadal odpowiadać przypisanej pracy w miarę zmian zgłoszeń i wywołujących. Granica konta musi się utrzymać obok szybszego opracowywania procedur.

Więcej testów wciąż wymaga miary rezultatów

Ta sama potrzeba powiązania aktywności z rezultatami dotyczy również odrębnej platformy bezpieczeństwa Coinbasu Continuous Adversarial Testing (CAT). 15 września Coinbase podał, że od połowy 2026 roku przeprowadzono ponad 150 000 skanów jego środowiska produkcyjnego, w tym ponad 128 000 przeglądów pullów proponowanych zmian w kodzie, oraz że naprawiono więcej ustaleń z testów penetracyjnych (symulowanych cyberataków). Te zgłoszone działania i poprawki stanowią kontekst bezpieczeństwa.

Rozróżnienie między testowaniem a wydajnością po wdrożeniu ma również kluczowe znaczenie w profilu ryzyka AI generatywnego NIST z lipca 2024 roku. NIST, amerykańska agencja ds. norm, opublikował ten dobrowolny ramowy dokument, który zaleca ocenę systemów w warunkach rzeczywistych, ponieważ testowanie kontrolowane może przeoczyć problemy, i omawia luki pomiarowe między warunkami laboratoryjnymi a wdrożeniowymi. Oferuje on ogólne kryterium oceny twierdzeń takich jak twierdzenia Coinbasu.

Autopilot już wskazuje na miary dotyczące klientów. Coinbase informuje, że etykiety intencji klientów, rozwiązywanie problemów oraz sygnały satysfakcji klienta pomagają identyfikować słabe, wysokolumenowe przepływy wsparcia. Sugeruje to, że firma dostrzega, iż ukończenie testów i rozwiązanie problemów klientów to różne miary.

Niemniej wrześniowe ujawnienie nie publikuje zinwentyryzowanych wyników rozwiązywania problemów klientów ani bezpieczeństwa przed i po wdrożeniu. Przydatnym następnym dowodem byłoby powiązanie wdrożonych procedur z tymi rezultatami, a także udział odpowiedniej aktywności wsparcia objętej systemami testowania i uprawnień.

Jakość rozwiązywania problemów pomogłaby wykazać, czy automatyzacja rozwiązuje problem klienta. Skuteczność eskalacji pokazałaby, czy zgłoszenia wymagające ludzkiej oceny do niej trafiają. Dowody dotyczące nieautoryzowanych działań i błędów odnosiłyby się do ochrony bardziej bezpośrednio niż czas wymagany do uruchomienia zestawu testów.

Przedstawiony 30–45-minutowy cykl walidacji jest konkretnym przykładem automatyzowanej pracy. Ujawnione bramy zatwierdzania i ograniczenia dostępu czynią rozliczalność częścią modelu operacyjnego. Wykazanie wartości dla klientów wymaga powiązania obu elementów z rezultatami w rzeczywistym wsparciu, przy jednoczesnym prowadzeniu prac przeglądowych i nadzorczych, których ujawnione systemy wciąż wymagają.