Anthropic und Accenture bauen ihre Zusammenarbeit im Bereich der KI-Sicherheit mit einem neuen eingebetteten Evaluationsprogramm für Frontier-KI aus. Beide Unternehmen erwarten, in den nächsten fünf Jahren jeweils mindestens 1 Milliarde US-Dollar in diesen Bereich zu investieren. Das Bemühen richtet sich auf eine Lücke, die die Branche bislang nicht geschlossen hat: Die Sicherheitszusagen eines Frontier-Labors unabhängig überprüfbar zu machen.

Das Programm wird von Faculty geleitet, Accentures spezialisiertem KI-Geschäft, dessen geplante Übernahme das Unternehmen Anfang dieses Jahres im Rahmen einer umfassenderen Expansion seiner KI-Kompetenzen angekündigt hatte. Facultys Prüfer werden an der Seite von Anthropic-Teams arbeiten, um Modelle zu evaluieren und Red-Team-Tests durchzuführen, Alignment-Bewertungen vorzunehmen und Schutzmaßnahmen der Modelle zu testen.

Anders als herkömmliche externe Prüfer wird den eingebetteten Teams voraussichtlich ein Zugang vergleichbar mit dem von Anthropic-Mitarbeitern gewährt. Dies würde es ihnen ermöglichen, Modelle während des Trainings zu beobachten, Entscheidungen rund um Entwicklung und Bereitstellung zu prüfen und zu bewerten, ob das Unternehmen seine Sicherheitszusagen einhält. Die Tiefe des Zugangs ist das Besondere an diesem Modell: Die Evaluierung wird in den Entwicklungsprozess integriert, statt an der Grenze des Labors zu verbleiben.

Die Initiative folgt einer Zusage von Anthropic-CEO Dario Amodei in seinem aktuellen Essay „We Must Pace the Frontier", in dem er unabhängige Prüfer in Frontier-KI-Labors forderte als Teil umfassenderer Bemühungen, Sicherheitszusagen überprüfbar zu machen. Das neue Programm setzt diesen Vorschlag in eine funktionierende Vereinbarung um – mit einem namentlich genannten Partner und einer definierten Finanzierungszusage.

Faculty hat zuvor mit großen KI-Entwicklern an Sicherheitstests gearbeitet, darunter Beiträge zu Biosicherheits-Evaluierungen für Anthropics Claude-4-Modelle und Red-Team-Tests von OpenAIs o1. Diese Erfolgsbilanz bedeutet, dass das Team mit praktischer Erfahrung im Testen von Frontier-Modellen aus mehr als einem Labor kommt.

Anthropic erklärte, der Rahmen bleibe experimentell, da noch keine etablierten Industriestandards festlegen, worauf eingebettete Prüfer zugreifen dürfen oder wie ihre Ergebnisse berichtet werden sollen. Fehlen vereinbarte Normen, werden die eigenen Praktiken des Programms zu Zugang und Offenlegung dessen Bedingungen definieren. Auch die Finanzierung ist ungeklärt. Anthropic hat zuvor argumentiert, dass unabhängige Evaluierungen langfristig gemeinsame oder staatlich unterstützte Mechanismen finanziert werden sollten; für die Accenture-Partnerschaft wird das Unternehmen die Evaluierungsarbeit jedoch direkt finanzieren. Das Modell beruht damit vorerst auf direkter Unternehmensfinanzierung statt auf der von Anthropic befürworteten gemeinsamen Infrastruktur.

Die Vereinbarung ist nicht exklusiv. Anthropic erklärte, auch mit dem gemeinnützigen Prüfer METR in Gesprächen zu stehen und in den kommenden Wochen weitere Evaluierungspartner ankündigen zu wollen, während Accenture weiterhin mit anderen KI-Entwicklern arbeiten kann. Die Struktur deutet auf ein Portfolio eingebetteter Prüfer bei Anthropic hin statt auf die Abhängigkeit von einer einzigen Beziehung.

Anthropic betonte, dass eingebettete Prüfer die Verantwortung für die Modellsicherheit nicht auf externe Organisationen übertragen. Stattdessen soll das Programm die eigenen Sicherheitszusagen des Unternehmens leichter unabhängig überprüfbar machen. Die kommenden Wochen dürften zumindest zwei Punkte klären: welche weiteren Prüfer dem Programm beitreten und wie sich dessen experimentelle Zugangs- und Berichtsbedingungen gestalten.