Metas Oversight Board hat dem Unternehmen befohlen, ein KI-generiertes Video zu entfernen, das das Abbild einer schottischen Labour-Ratsfrau verwendete, um fälschlich darzustellen, sie billige sexuelle Gewalt durch Geflüchtete. Meta hatte zunächst entschieden, den Clip online zu lassen; über die Aufhebung dieser Entscheidung hinaus warnte das Board, dass der Umgang des Unternehmens mit Deepfakes die Nutzer Täuschungen aussetzt.

Das Board, ein unabhängiges Gremium, das Meta 2020 zur Überprüfung der Inhaltsmoderationsentscheidungen des Unternehmens eingerichtet hatte, gab seine Entscheidung in einer Erklärung bekannt. Im Zentrum steht ein Clip, der im November 2025 auf Facebook auftauchte. Das Video zeigte eine lokale Labour-Politikerin in Schottland, die scheinbar sagte: „Refugees are welcome here, even if they rape our women, because white people do that too.“

Das Board beschrieb die Darstellung als realistisch, aber synthetisch, und stellte fest, dass die Audioaufnahme nicht mit den Gesichtsbewegungen der Ratsfrau übereinstimmte. Der Clip erschien in einem Album, das auch ein Foto mehrerer namentlich genannter Frauen, darunter die Ratsfrau, bei einer Demonstration gegen rechte Gruppierungen enthielt.

Zwei Nutzer, darunter die Ratsfrau selbst, meldeten das Video nach Metas Regeln zu Mobbing und Belästigung, doch die Systeme des Unternehmens leiteten es nie an einen menschlichen Prüfer weiter, und es blieb durch zwei Berufungsverfahren hindurch online. Ein dritter Nutzer brachte den Fall anschließend vor das Board. Selbst nach dieser Eskalation blieb Meta dabei, dass das Video keine Regeln verletzt habe und kein KI-Label rechtfige. Die Ratsfrau sagte dem Board, das Video sei „ziemlich traumatisch“ gewesen.

Eine Mehrheit des Boards stellte fest, dass der Clip gegen Metas Hateful-Conduct-Richtlinie verstieß, weil er Geflüchteten als gesamter Gruppe schwerste Kriminalität und Raubtier-artiges Sexualverhalten zuschrieb, und wies Metas Behauptung zurück, es gehe nur um einzelne Geflüchtete. Das Board behandelte das Video nicht als entfernbare Fehlinformation, sagte aber, es hätte mit einem „High Risk AI“-Label versehen sein müssen.

In einem Punkt stimmte das Board mit Meta überein: Die Regeln zu Mobbing und Belästigung erforderten keine Entfernung, da eine gewählte Amtsträgerin eine öffentliche Person ist, die weniger Schutz genießt als eine Privatperson.

Zweiter Fall und Empfehlungen

Das Board griff zudem in einen zweiten Fall ein, der ein KI-manipuliertes Interview mit einer Frau betraf, die für Aufklärung zur Menstruationsgesundheit wirbt. Nach dem Eingreifen des Boards nahm Meta das Video wegen Mobbings herunter. Getrennt davon hat das Board Politikempfehlungen veröffentlicht, in denen Plattformen aufgefordert werden, KI-manipulierte Audio- und Videoinhalte im großen Stil zu erkennen und zu kennzeichnen.

Insgesamt veranlassten die beiden Entscheidungen das Board, Metas Schutzmaßnahmen als „durchgängig und grundlegend unzureichend“ zu bezeichnen.

Das Board empfahl, die Schwelle für „High Risk“-Labels zu senken, damit sie nicht allein für Wahlen oder Krisen vorbehalten sind, und einige Labels durch ein Click-Through-Interstitial zu ersetzen. Zudem schlug es vor, risikoreiche KI-Inhalte zu entmonetarisieren, herabzustufen oder aus Empfehlungen zu entfernen, mit eskalierenden Sanktionen für wiederholte Verbreiter.

Außerdem soll Meta gemeldete KI-Verdachtsinhalte vorrangig einer menschlichen Prüfung zuführen, jährliche Daten darüber veröffentlichen, wie oft KI-Labels vergeben werden – auch bei Beiträgen über Politiker –, und seine Regeln zu Wahlen und Volkszählungen global statt nur für die Vereinigten Staaten formulieren. Meta hat 60 Tage Zeit, auf das Board zu antworten. Die Entscheidung des Boards zum Video selbst ist für das Unternehmen bindend, die breiteren Politikempfehlungen erfordern jedoch nur eine Antwort; Meta entscheidet selbst, welche der vorgeschlagenen Änderungen es umsetzt.

Weltweit verschärfte Regeln für synthetische Medien

Die Entscheidungen fallen in eine Zeit, in der Regierungen und Plattformen weltweit ihre Regeln für synthetische Medien verschärfen – eine parallele Entwicklung, die Unternehmen dazu drängt, manipulierte Audio- und Videoinhalte im großen Stil zu erkennen und zu kennzeichnen. Chinas Oberster Volksgerichtshof legte am 7. September Haftungregeln fest, wonach die Erstellung oder Verbreitung einer KI-Replik des Gesichts oder der Stimme einer Person ohne Genehmigung eine Rechtsverletzung darstellt. Cryptopolitan berichtete, dasseking in der ersten Phase seiner „Qinglang“-Bereinigungskampagne zu Beginn dieses Jahres separat mehr als 14.000 KI-Produkte entfernt hat.

Der Code of Practice on Transparency of AI-generated Content der Europäischen Union verpflichtet Anbieter, KI-Ausgaben zu kennzeichnen, und Betreiber, Deepfakes zu markieren.

Die AI-Generated-Content-Richtlinie von Google Play untersagt Nutzern das Posten nicht einvernehmlicher sexueller Deepfake-Materialien sowie Wahlkampfinhalte, die „nachweislich irreführend oder falsch“ sind.

Auf Medium dürfen nur wenige Nutzer KI-gestützte Texte ohne Kennzeichnung veröffentlichen, und die Plattform verbietet KI-generierte Desinformation kategorial.