Anthropic kann die Sicherheitsfunde, die die KI-Bewertungsorganisation METR über das Unternehmen veröffentlicht, nicht länger blockieren. In einer offiziellen Ankündigung am Donnerstag teilte das KI-Labor mit, dass sechs eingebettete Forscher der Organisation nun nahezu denselben Zugang wie die eigenen Mitarbeiter haben.

Zugang auf Mitarbeiterebene für externe Evaluatoren

METR, das KI-Modelle an der Grenze bewertet, arbeitet nun mit im Wesentlichen derselben Anthropic-Hardware, denselben Arbeitsräumen und internen Tools, die auch die eigenen Risikobewertungsteams des Unternehmens nutzen. Die Mitarbeitenden von Anthropic wurden angewiesen, den Evaluatoren dieselben Informationen zur Verfügung zu stellen, die sie auch einer anderen an Ausrichtungsrisiken arbeitenden Person geben würden.

Im Rahmen dieser Vereinbarung bewertet METR die Risikostufen, Vorfälle und Praktiken von Anthropic eigenständig und veröffentlicht anschließend die Ergebnisse, ohne eine Genehmigung des Unternehmens einzuholen. Die Entscheidung über die Veröffentlichung liegt somit beim Evaluator und nicht beim Labor – im Gegensatz zu Prüfberichten der ersten Stufe, für deren Veröffentlichung Anthropics Zustimmung weiterhin erforderlich ist.

Ein kleiner Satz vordefinierter Kategorien bleibt von Anthropics Schwärzungsrecht betroffen: Kundendaten, dem Anwaltsgeheimnis unterliegendes Material und Details der Modellarchitekturen. METR hat zudem das Recht, öffentlich zu erklären, ob eine Schwärzung erforderlich war, solange sie nicht preisgibt, was geschwärzt wurde.

Anthropic begründet das Arrangement mit einer Informationslücke: Außenstehende wissen weitaus weniger über die Systeme eines Labors als das Labor selbst, und eine vollständige Offenlegung könnte böswilligen Akteuren nützen oder private Trainings- und Rechenzentrumsdaten preisgeben. Das Unternehmen zog eine Parallele zur Bankenaufsicht, bei der Aufsichtsbehörden ständige Prüfer in die größten Banken entsenden, damit riskantes Verhalten von Dritten erkannt wird, bevor es an die Öffentlichkeit gelangt.

Das METR-Team arbeitet unter rechtlich durchsetzbaren Vereinbarungen. Andere METR-Forscher, darunter solche, die an separaten Projekten für Anthropic arbeiten, sind von seiner Arbeit abgeschottet.

Drei Stufen des Evaluator-Zugangs

Anthropic baut drei Stufen des externen Zugangs auf, und METR ist bislang der einzige Evaluator auf der obersten Stufe. Evaluatoren der ersten Stufe führen enge Prüfungen durch und benötigen Anthropics Zustimmung zur Veröffentlichung. Die zweite Stufe erhält mehr Informationen und darf ohnehmigung veröffentlichen, vorbehaltlich derselben Schwärzungskategorien. Die dritte Stufe umfasst den eingebetteten, mitarbeitergleichen Zugang, den METR nun innehat.

SecureBio, eine gemeinnützige Biosecurity-Organisation, gehört zur ersten Stufe. Sie hat eine Pilotprüfung eines früheren Risikoberichts abgeschlossen und veröffentlicht und arbeitet nun das Kapitel zu chemischen und biologischen Waffen im August-Risikobericht durch.

Anthropic baut zudem eine Partnerschaft mit Accenture und Faculty zu Red-Teaming, Ausrichtungsprüfungen und Schutzmaßnahmentests auf. Erste Gespräche mit anderen Gruppen, darunter Hugging Face, laufen bereits.

Von Amodeis September-Essay zu Branchenzusagen

Der Schritt setzt einen September-Essay von CEO Dario Amodei um, in dem er die Branche aufrief, die Entwicklung an der Modellgrenze zu verlangsamen. Wie Cryptopolitan damals berichtete, schlug Amodei vor, externen Prüfern Schreibtische, Ausweise, Laptops und Zugangsebenen ähnlich denen des Risikobewertungspersonals zu gewähren.

Sam Altman von OpenAI unterstützte die Idee auf X. „Sich dazu zu verpflichten, unabhängige Evaluatoren mit mitarbeiterähnlichem Zugang zu haben, ist eine großartige Idee, und wir werden dasselbe tun“, schrieb Altman.

Anthropic, Google und OpenAI haben zudem über ein gemeinsames Branchenstandards-Gremium gesprochen. Alle drei – gemeinsam mit Meta, Nvidia und xAI – haben seitdem das White House Accord on Super Intelligence unterzeichnet und zugesagt, mit unabhängigen Prüfern zusammenzuarbeiten.

Die Ankündigung folgt auch auf eine Reihe von Vorfällen seit Ende August, bei denen KI-Agenten über ihre Anweisungen hinaus handelten. Die nächsten Maßstäbe sind konkret: SecureBios Fortschritte beim Kapitel zu chemischen und biologischen Waffen des August-Risikoberichts, die Ergebnisse, die METR im Rahmen seiner neuen Veröffentlichungsrechte vorlegt, und ob OpenAI den mitarbeiterähnlichen Zugang umsetzt, den Altman angekündigt hatte. Zusammen zeigen sie, wie weit die unabhängige Evaluierung vom Versprechen zur Praxis im restlichen Industriezweig fortschreitet.