Meta's Oversight Board heeft het bedrijf bevolen een door AI gegenereerde video te verwijderen die het gelaat van een Schots Labour-raadslid gebruikte om haar valslijk af te beelden als iemand die seksueel geweld door vluchtelingen steunt. Meta had aanvankelijk besloten de clip online te laten, en naast het omdraaien van die beslissing waarschuwde de raad dat de omgang van het bedrijf met deepfakes gebruikers blootstelt aan het risico op misleiding.

De raad, een onafhankelijk panel dat Meta in 2020 instelde om de contentmoderatiebeslissingen van het bedrijf te herzien, kondigde de beslissing aan in een verklaring, die draait om een clip die in november 2025 op Facebook verscheen. De video liet een lokaal Labour-politicus in Schotland schijnbaar zeggen: "Refugees are welcome here, even if they rape our women, because white people do that too."

De raad omschreef de weergave als realistisch maar synthetisch, met de kanttekening dat de audio niet synchron liep met de gezichtsbewegingen van het raadslid. De clip verscheen in een album dat ook een foto bevatte van verschillende bij naam genoemde vrouwen, waaronder het raadslid, tijdens een protest tegen de extreemrechts.

Twee gebruikers, waaronder het raadslid zelf, rapporteerden de video onder Meta's regels voor pesten en intimidatie, maar de systemen van het bedrijf hebben deze nooit doorgestuurd naar een menselijke beoordelaar, en video bleef online na twee bezwaren. Een derde gebruiker bracht de zaak vervolgens voor de raad. Zelfs na die escalatie hield Meta vol dat de video geen regels overtrad en geen AI-label rechtvaardigde. Het raadslid vertelde de raad dat de video "heel traumatiserend" was.

Een meerderheid van de raad oordeelde dat de clip Meta's Hateful Conduct-beleid schond omdat deze vluchtelingen als hele groep beschuldigde van ernstige criminaliteit en roofzuchtig seksueel gedrag, waarmee Meta's stelling dat de video zich slechts tegen sommige vluchtelingen richtte, werd verworpen. De raad behandelde de video niet als verwijderbare desinformatie, maar zei dat deze een "High Risk AI"-label had moeten dragen.

Op één punt was de raad het met Meta eens: de regels voor pesten en intimidatie vereisten geen verwijdering, omdat een gekozen functionaris een publieke figuur is die minder bescherming toekomt dan een particulier.

Tweede zaak en aanbevelingen

De raad greep ook in bij een tweede zaak over een door AI gemanipuleerd interview met een vrouw die pleit voor voorlichting over menstruatiegezondheid. Na het ingrijpen van de raad verwijderde Meta die video wegens pesten. De raad heeft daarnaast afzonderlijk beleidsadvies uitgebracht waarin platforms worden opgeroepen AI-gemanipuleerde audio en video op grote schaal te identificeren en te labelen.

Samen genomen brachten de twee uitspraken de raad ertoe om Meta's waarborgen "structureel en fundamenteel ontoereikend" te noemen.

De raad beval Meta aan de drempel voor "high risk"-labels te verlagen, zodat deze niet alleen voor verkiezingen of crisissen worden gebruikt, en sommige labels te vervangen door een interstitiële pagina die doorgeklikt moet worden. Daarnaast stelde de raad voor dat AI-inhoud met hoog risico zou worden gedemonetiseerd, gedegradeerd of verwijderd uit aanbevelingen, met escalerende sancties voor herhaalde verspreiders.

De raad wil verder dat Meta vermoedelijke AI-inhoud bij melding voorrang geeft voor menselijke beoordeling, jaarlijks publiceert hoe vaak AI-labels worden toegepast, ook op berichten over politici, en zijn stem- en volkstellingsregels wereldwijd laat gelden in plaats van alleen in de Verenigde Staten. Meta heeft 60 dagen de tijd om op de raad te reageren. De uits van de raad over de video zelf is bindend voor het bedrijf, maar de bredere beleidsaanbevelingen vergen slechts een reactie, waardoor Meta zelf beslist welke voorgestelde wijzigingen worden overgenomen.

Wereldwijde verstrakking rond synthetische media

De uitspraken vallen samen met een wereldwijde verstrakking van regels rond synthetische media, een parallelle inspanning die bedrijven ertoe aanzet gemanipuleerde audio en video op grote schaal te identificeren en te labelen. Het Hooggerechtshof van China stelde op 7 september aansprakelijkheidsregels vast die stellen dat het creëren of delen van een AI-replica van iemands gezicht of stem zonder toestemming een inbreuk is. Cryptopolitan berichtte dat Peking eerder dit jaar afzonderlijk meer dan 14.000 AI-producten verwijderde in de eerste fase van zijn "Qinglang"-opruiming.

De Code of Practice on Transparency of AI-generated Content van de Europese Unie dringt er bij aanbieders op aan AI-output te markeren en bij gebruikers van de output om deepfakes te labelen.

Google Play's AI-Generated Content-beleid verbiedt gebruikers om niet-consensueel seksueel deepfakemateriaal en verkiezingscontent die "aantoonbaar bedrieglijk of onwaar" is, te plaatsen.

Op Medium zijn slechts enkele gebruikers toegestaan om niet-openlijk aangegeven AI bij het schrijven te gebruiken, en het platform verbiedt door AI gegenereerde desinformatie categorisch.