Anthropic opublikował zestaw wewnętrznych metryk, które mają dać opinii publicznej, regulatorom i obserwatorom zewnętrznym jaśniejszy wgląd w to, jak szybko postępuje rozwój AI na froncie badań — w tym jaką część pracy nad budową nowych modeli wykonuje obecnie samo AI.

Centralnym elementem publikacji jest Anthropic R&D Automation Index — prototypowa metryka, która kataloguje wszystkie rodzaje zadań badawczo-rozwojowych w obszarze AI realizowanych w firmie i ocenia każde z nich według skali automatyzacji opracowanej przez Epoch AI. Skala biegnie od AL0, oznaczającego brak udziału AI, do AL5, czyli w pełni autonomicznego działania bez udziału człowieka. W ramach tej skali AL3 oznacza zadania, w których AI współpracuje pod ścisłym kierownictwem człowieka, natomiast AL4 obejmuje zadania, które AI wykonuje od początku do końca na podstawie ogólnego polecenia, pod nadzorem człowieka. Odległość między tymi szczeblami a AL5 nadaje indeksowi jego znaczenie: mierzy on, zadanie po zadaniu, jak daleko od punktu, w którym AI mogłoby prowadzić prace bez udziału człowieka, znajduje się działalność badawczo-rozwojowa firmy.

Na sierpień 2026 roku Claude nie działa w pełni autonomicznie w żadnym z mierzonych obszarów prac B+R nad AI. Mimo to AI prowadzi około 26% prac badawczo-rozwojowych Anthropicu, a ponad 90% zadań mieści się na poziomie współpracy z człowiekiem lub wyżej. Anthropic przedstawia te dane jako sposób śledzenia, jak blisko rekurencyjnego samodoskonalenia znajduje się branża — scenariusza, w którym model samodzielnie buduje swojego następcę — i zaznacza, że liczby te prawdopodobnie uległyby zmianie w przypadku skoordynowanych działań na rzecz spowolnienia rozwoju AI na froncie badań. Ujęte w ten sposób dane przekształcają abstrakcyjną obawę w jasno określony, powtarzalny punkt odniesienia, względem którego można mierzyć przyszłe ujawnienia.

Firma ogłosiła publikację w poście na X:

AI systems are getting more powerful, and they're increasingly being used to build the next version of themselves. We want to illuminate that progress for the public. Today, we're sharing three measurements that help track development: 1. How much AI R&D is done by AI. 2. How…

— Anthropic (@AnthropicAI) September 17, 2026

Razem te pomiary obejmują to, jaka część prac B+R nad AI jest wykonywana przez AI, jak w praktyce nadzorowani są agenci AI oraz jak compute jest alokowany w ramach działalności firmy.

Firma opatrzyła indeks nowymi danymi o nadzorze nad agentami AI. Około 30 000 agentów prowadziło prace badawcze i inżynieryjne na najczęściej używanej wewnętrznej platformie Anthropicu, a każde z ich działań przechodzi przez działające w czasie rzeczywistym monitory online przed wykonaniem, a także przez monitory offline, które analizują aktywność po fakcie. Wśród ponad miliarda decyzji agentów przeanalizowanych w sierpniu około 0,002% — mniej więcej jedna na 47 000 — zostało zablokowanych. Monitory offline oznaczają od jednego do dwóch transkryptów na tysiąc, przy czym cotygodniowo oznaczanych jest około 100 000, a tylko około 50 trafia do weryfikacji przez człowieka. Liczby te kreślą obraz zawężającego się leja nadzorczego — od ponad miliarda decyzji przeanalizowanych w sierpniu do około 100 000 transkryptów oznaczanych cotygodniowo i około 50 kierowanych do oceny przez człowieka — pokazując, jak automatyczna weryfikacja warstwowo wspiera ludzki osąd, gdy agenci podejmują sięwistych prac badawczych i inżynieryjnych.

Alokacja compute wyłania się jako weryfikowalna dźwignia tempa rozwoju

Trzeci pomiar dotyczy compute — jednego z najbardziej weryfikowalnych czynników rozwoju AI, a przez to potencjalnej dźwigni dla przyszłego branżowego reżimu regulacji tempa. W tygodniowym przekroju całkowitego zużycia compute w Anthropicu około 6% mocy obliczeniowej przeznaczonej na B+R nad AI trafiło na prace związane z bezpieczeństwem; w samym B+R napędzanym przez AI wskaźnik ten wynosił około 12%. Firma opisuje te szacunki jako celowo konserwatywne, zauważając, że compute jest niedoskonałym przybliżeniem inwestycji w bezpieczeństwo, ponieważ znaczna część badań nad bezpieczeństwem jest intensywna projektowo, a nie obliczeniowo. Procenty te są również twardą, policzalną wielkością, którą podmioty zewnętrzne — lub przyszłe porozumienie ws. tempa rozwoju — mogłyby śledzić w czasie.

Anthropic przedstawia tę publikację jako uzupełnienie raportów o ryzyku w ramach Responsible Scaling Policy oraz propozycji polityki Advanced AI Framework, która opisuje zobowiązania w zakresie transparentności, jakie rządy mogłyby nałożyć na laboratoria. Firma ogłosiła również plany włączenia do Anthropicu niezależnych ewaluatorów zewnętrznych z wielu organizacji, przyznając im dostęp do wewnętrznych systemów i danych porównywalny z tym, który otrzymują jej własne zespoły oceny ryzyka.

Porównywanie wyników między laboratoriami pozostaje wyzwaniem. Anthropic przyznaje, że nie istnieje wspólna metodologia pomiaru automatyzacji, a używanie własnych modeli do oceny własnych systemów stwarza potencjalne punkty ślepe. Wskazuje na weryfikację przez strony trzecie lub ocenę za pomocą modeli innych deweloperów — z zabezpieczeniami dla informacji wrażliwych konkurencyjnie — jako drogę do standaryzowanego raportowania, na którym mogłyby polegać rdy i opinia publiczna. Dopóki taka metodologia nie powstanie, wartość taka jak wskaźnik 26% automatyzacji nie ma uzgodnionego odpowiednika u innych deweloperów — co czyni planowane włączenie niezależnych ewaluatorów oraz wszelkie kroki w stronę wspólnych standardów pomiaru konkretnymi wskaźnikami tego, czy ten wysiłek na rzecz transparentności może wyjść poza pojedyncze laboratorium.

Źródło: Metaverse Post