Badania nad wieloagentowymi systemami AI nabierają tempa, a zespoły w środowisku akademickim i branżowym badają, w jaki sposób koordynacja między wieloma modelami AI może poprawić wydajność ponad to, co osiąga pojedynczy model. Otwarte frameworki takie jak AutoGen firmy Microsoft, CrewAI i LangGraph firmy LangChain obniżyły barierę wejścia do eksperymentów, ułatwiając programistom łączenie wielu agentów, które dzielą się pracą, wymieniają komunikaty i dążą do wspólnych odpowiedzi. Jednak konkretne twierdzenie, że mechanizmy współdzielenia odpowiedzi mogą niemal podwoić dokładność, nie ma solidnego poparcia w pierwotnych źródłach w obecnej literaturze.

Co faktycznie pokazują badania

Wieloagentowe systemy wykazały do 81% poprawy wydajności w niektórych zadaniach zrównoleglonych dzięki koordynacji, zgodnie z istniejącymi badaniami. Z drugiej strony, w konfiguracjach niezależnych, w których agenci nie są dobrze zorkiestrowani, wzmacnianie błędów może być nawet do 17,2 razy większe niż w odpowiednio skoordynowanych systemach.

Wykorzystanie wielu wywołań modelu w stochastycznych dużych modelach językowych — polegające zasadniczo na wielokrotnym odpytywaniu tego samego modelu i agregowaniu jego odpowiedzi — może w sposób istotny poprawić dokładność w uznanych benchmarkach, takich jak HumanEval. Niemniej jednak, złożone architektury agentowe grożą eskalacją kosztów obliczeniowych bez proporcjonalnego wzrostu dokładności. Dla organizacji oceniających agentic AI pod kątem obciążeń produkcyjnych krzywa kosztu na zapytanie staje się krytycznym wskaźnikiem wdrożeniowym: każdy dodatkowy agent, runda głosowania lub pętla udoskonalania mnoży wydatki na wnioskowanie, a poprawy dokładności często wykazują malejące przyrosty.

Zwrot w postaci tokenizacji

Jedno badanie, które rzeczywiście wykazuje niemal podwojenie dokładności, pochodzi z zupełnie innej dziedziny badań nad AI. Badanie opublikowane przez Capital One wykazało, że modele AI i uczenia maszynowego trenowane na tokenizowanych danych pacjentów osiągnęły niemal podwójną dokładność w porównaniu z tymi, które wykorzystywały tradycyjne techniki maskowania danych. Wynik ten jest godny uwagi, ale dotyczy metodologii przygotowania danych, a nie współdzielenia odpowiedzi między agentami. Tokenizowane dane zachowują więcej bazowych relacji statystycznych, na których modele opierają się w procesie uczenia, podczas gdy tradycyjne techniki maskowania mają tendencję do zakłócania tych wzorców.

Dlaczego lukę w dokładności trudniej zamknąć, niż się wydaje

Jeśli jeden agent w grupie generuje poprawną odpowiedź, a pozostałe nie, naiwny mechanizm współdzielenia może w rzeczywistości obniżyć dokładność zamiast ją poprawić. System wymaga pewnego sposobu zidentyfikowania, które odpowiedzi są poprawne, zanim je wzmocni — wyzwanie, które jest zasadniczo podobne do wygenerowania poprawnej odpowiedzi na samym początku.

Bardziej zaawansowane podejścia stosują mechanizmy głosowania, ważenie poziomem pewności lub iteracyjne pętle udoskonalania, w których agenci krytykują nawzajem swoje rozumowanie. Techniki te mnożą koszty wnioskowania i wprowadzają opóźnienia. Co więcej, wydajność w benchmarkach akademickich nie zawsze przekłada się na niezawodność w warunkach rzeczywistych; model, który osiąga imponujące wyniki w HumanEval, może nadal pewnie halucynować w środowiskach produkcyjnych. Luka między wynikami benchmarków a niezawodnością wdrożeniową pozostaje jednym z centralnych wyzwań dla zespołów budujących systemy wieloagentowe i podkreśla, dlaczego przedsiębiorstwa testujące oparte na agentach przepływy pracy coraz bardziej koncentrują się na narzędziach ewaluacyjnych i mechanizmach zabezpieczających niż wyłącznie na wskaźnikach dokładności w nagłówkach.