Anthropic hat Accenture als seinen ersten eingebetteten Evaluator ausgewählt – eine Partnerschaft, die den in der vergangenen Woche von Anthropic-CEO Dario Amodei vorgeschlagenen Verlangsamung der KI-Entwicklung unterstützen soll.

Amodei veröffentlichte am 12. September einen dreistufigen Vorschlag, der vorsieht, dass die KI-Entwicklung langsamer voranschreitet, damit Schutzmaßnahmen etabliert werden können. Er verwies dabei auf Warnungen vor potenziell katastrophalen Schäden infolge eines schnellen, unkontrollierten Fortschritts.

Die Reaktion in der Branche fiel gemischt aus. OpenAI-CEO Sam Altman und SpaceX-CEO Elon Musk äußerten Unterstützung für den Plan, während Nvidia-CEO Jensen Huang dies nicht tat und argumentierte, eine solche Regulierung sei unnötig. Anthropics Schritt zur Umsetzung des Plans erfolgt inmitten dieses fehlenden Branchenkonsenses.

In dem Vorschlag schrieb Amodei: „AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI. This dynamic is called recursive self-improvement,“ und fügte hinzu: „left unchecked, it could outrun our ability to understand and control these systems.“

Der erste Schritt des Plans sieht unabhängige Evaluatoren mit mitarbeiterähnlichem Zugang zu KI-Systemen vor – ein Commitment, das Anthropic nach Amodeis Angaben bereits einseitig eingegangen war. Am Freitag kam das Unternehmen dieser Zusage nach, indem es eine Partnerschaft mit Accenture und dessen KI-Sparte Faculty ankündigte, die auf „evaluating and red-teaming models, conducting alignment assessments and testing model safeguards“ fokussiert ist. Mit der Ankündigung geht der erste Schritt des Vorschlags vom Prinzip in die Praxis über.

Das Unternehmen erklärte, die Details der Umsetzung würden noch ausgearbeitet, da die eingebettete Evaluierung ein neues Feld ist – eines, in dem selbst grundlegende Fragen, etwa wie ein mitarbeiterähnlicher Zugang in der Praxis funktionieren wird, noch unbeantwortet sind.

Laut der Ankündigung erwarten Anthropic und Accenture jeweils Investitionen von mindestens 1 Milliarde US-Dollar in das Projekt über die nächsten fünf Jahre.

Anthropic finanziert die Arbeit angesichts der Dringlichkeit direkt

Anthropic wies darauf hin, dass es derzeit kein System zur Finanz unabhängiger Evaluierung gibt und dass die langfristige Finanzierung letztlich aus gemeinschaftlichen oder staatlichen Quellen stammen sollte. Angesichts der Dringlichkeit der Arbeit wird Anthropic die Arbeit von Accenture jedoch direkt finanzieren. Bis diese umfassenderen Finanzierungsmechanismen bestehen, sind die Eigenzusagen der beiden Unternehmen die einzige Finanzierung, die diese Arbeit derzeit trägt.

Die Partnerschaft ist nicht exklusiv, und Anthropic erklärte, es erwarte die Ankündigung weiterer Evaluatoren in den kommenden Wochen. Diese Ankündigungen werden – gemeinsam mit den noch unklaren operativen Details – die Indikatoren sein, auf die es zu achten gilt, während sich das neue Feld formiert.

Nach Angaben von Accenture ist Faculty auf das Testen und Evaluieren von Modellen für einige der weltweit führenden KI-Labore sowie auf den Aufbau komplexer KI-Systeme spezialisiert, die von Grund auf sicher und ethisch konzipiert sind.

„Embedded evaluation is an emerging area, and we look forward to partnering with Anthropic to help accelerate the development of embedded evaluators, which we see as an important part of the safety landscape going forward,“ sagte Julie Sweet, Chair und CEO von Accenture.