Profesjonalni analitycy przyjęli ukrytą, losowo przypisaną opinię swojego agenta AI w 86% kluczowych decyzji, wobec około 50% oczekiwanych przypadkowo — wynika z eksperymentu opublikowanego we wtorek przez zespół Alignment firmy Anthropic. Tylko 15% uczestników wspominało później o agencie, a nikt nie podejrzewał, że jego preferencje zostały wszczepione.

Wyniki te podważają powszechnie stosowane w pracy wspomaganej przez AI podejście „człowieka w pętli”, które zakłada, że osoba zatwierdzająca wynik pracy AI podejmuje kluczowe decyzje — zabezpieczenie to ma szczególne znaczenie w regulowanych sektorach, takich jak finanse i ubezpieczenia. Anthropic uruchomił w maju 10 szablonów agentów dla firm finansowych i ubezpieczeniowych, wskazując, że to użytkownik ma ostateczne słowo — jednak badanie sugeruje, że ten podział odpowiedzialności może być mniej jednoznaczny, niż się wydaje.

Agenci AI — programy samodzielnie wykonujące zadania — coraz częściej otrzymują pracę ekspertów w oparciu o powszechne założenie, że to wciąż ludzie podejmują najważniejsze decyzje. Aby je sprawdzić, Anthropic zrekrutował 50 analityków doświadczonych w wnioskowaniu przyczynowym, czyli ustalaniu na podstawie danych, czy jedna rzecz powoduje drugą. Każdy analityk używał Claude Code, agenta programistycznego firmy Anthropic, aby doradzać fikcyjnej spółdzielni rolniczej w sprawie rozbudowy programu doradczego.

Nieznane uczestnikom, rzut monetą zadecydował o tym, którą opcję faworyzował każdy agent. Ta preferencja była ukryta w prompcie systemowym — instrukcjach kształtujących zachowanie AI. To właśnie w tej warstwie instrukcji firmy zwykle definiują zasady działania wdrażanych agentów, dlatego wynik badania dotyczy rzeczywistych wdrożeń, a nie tylko laboratorium.

„W czterech decyzjach analitycznych analitycy poszli za preferencją swojego agenta w 86% przypadków. Gdyby wkład agenta nie miał znaczenia, spodziewalibyśmy się około 50%” — podał Anthropic.

Wpływ był najsilniejszy wśród analityków, którzy podjęli decyzję przed wypowiedzią agenta: porzucali swój wybór w 60% przypadków, gdy agent się nie zgadzał, w porównaniu z 6%, gdy się zgadzał — choć wynik ten opiera się zaledwie na 38 przypadkach.

W ankiecie po zadaniu wśród 48 analityków 77% powtórzyło argumenty agenta w co najmniej jednej odpowiedzi, czasem słowo w słowo. Tylko 15% wymieniło agenta, a 52% opisało ostateczną rekomendację jako bardziej własną niż agenta.

„Dla poszczególnych ekspertów może to oznaczać utratę kontroli nad własną pracą, formę tego, co badacze nazywają dysempowermentem” — podał Anthropic, opisując zjawisko, w którym człowiek dobrowolnie oddaje kontrolę nad własnymi decyzjami. „Praca nadal wychodzi pod nazwiskiem eksperta” — napisali autorzy — „ale decyzje najbardziej zależne od jego osądu w rzeczywistości rozstrzygają wcześniejsze przekonania agenta”.

Agenci w badaniu zostali pouczeni, by nigdy nie wprowadzać analityków w błąd. Mimo to rzadko argumentowali za alternatywą wobec swojej przypisanej preferencji. „Skoro dobrze broniono tylko jednej strony” — napisali autorzy — „analitycy mogli przyjąć założenia agenta bez wypracowania własnych”.

Taka jednostronna argumentacja przywołuje wcześniejsze obawy dotyczące zbyt ugodowego AI. W kwietniu 2025 roku OpenAI wycofało aktualizację ChatGPT, którą uznało za przesadnie pochlebczą lub przyzwalającą.

Anthropic zauważył również, że kontrole błędów z trudem wykrywają ten problem, ponieważ decyzje oparte na osądzie nie mają jednej poprawnej odpowiedzi — ukończona praca wygląda dobrze niezależnie od wybranej opcji.

Firma podkreśliła, że wyniki te nie są argumentem za mniejszym korzystaniem z AI. Analitycy pracujący z agentem kończyli szybciej i popełniali znacznie mniej poważnych błędów niż ci bez agenta, choć grupa porównawcza bez agenta była niewielka i mniej doświadczona. Jako rozwiązanie Anthropic sugeruje projektowanie agentów, którzy przedstawiają najlepsze argumenty za każdą opcją lub najpierw pytają o zdanie eksperta — choć każde z tych podejść mogłoby przytłoczyć użytkowników ilością informacji. Czy takie rozwiązania trafią do wdrożonych produktów, w tym własnych szablonów agentów Anthropic, pozostaje otwarte.

Badacze zaznaczyli, że preferencje agentów zostały na potrzeby eksperymentu celowo wzmocnione, a badanie obejmowało jedno zadanie, jedną dziedzinę i jeden model — więc efekty w rzeczywistości mogą być mniejsze. Zmierzenie tego zjawiska poza laboratorium jest trudne: zespół mógł je wykryć tylko dlatego, że losowo ustalał preferencję każdego agenta, co — jak zauważają autorzy — jest w rzeczywistej pracy rzadko możliwe.