Twee ChatGPT-gebruikers uit Californië hebben een voorgestelde collectieve rechtszaak tegen OpenAI aangespannen, waarin wordt gesteld dat het bedrijf externe contractanten echte gebruikersgesprekken liet lezen zonder adequate openbaarmaking. De zaak is deze maand ingediend bij de Amerikaanse federale rechtbank voor het noordelijke district van Californië. OpenAI is op 2 september gedagvaard en moet uiterlijk 13 oktober op de zaak reageren.

De klacht draait om "Project Lily," een intern OpenAI-programma waarin contractanten die via externe uitzendbureaus zijn aangenomen prompts van gebruikers samenvatten en antwoorden van de chatbot beoordelen op een schaal van één tot zeven. Het rechtszaakdossier beschuldigt het bedrijf ervan echte gebruikersgesprekken door te sturen naar externe beoordelaars zonder gebruikers daarvoor duidelijk in te lichten.

Volgens de klacht lezen contractanten die zijn aangenomen voor functies als "AI data reviewer" en "chatbot evaluator" echte ChatGPT-prompts en volledige gesprekken, vatten ze samen wat de gebruiker wilde bereiken, en beoordelen en bekritiseren ze vervolgens vier verschillende modelantwoorden op een schaal van één tot zeven.

Dat proces een basale versie van hoe chatbots zoals ChatGPT feitelijk beter worden. Mensen beoordelen de antwoorden van de AI, en die beoordelingen worden teruggevoerd naar de training zodat het model leert welke antwoorden mensen verkiezen—een techniek die in de sector reinforcement learning from human feedback, of RLHF, wordt genoemd. De kern van de aanklacht is dat gebruikers nooit duidelijk is verteld dat een persoon, en niet alleen een machine, hun gesprekken zou kunnen lezen. En omdat RLHF een techniek is waar de bredere sector op vertrouwt, draait het geschil minder om hoe chatbots worden getraind en meer om hoe duidelijk bedrijven moeten zijn over het feit dat menselijke ogen gebruikersgesprekken kunnen lezen.

OpenAI laat gesprekken inderdaad eerst door een geautomatiseerd systeem lopen voordat een mens ze ziet. De klacht stelt dat het filter niet altijd alles onderschept, waardoor persoonlijke gegevens soms toch bij contractanten terechtkomen.

Project Lily werd op 14 september voor het eerst blootgelegd door het medium 404 Media. Volgens het verslaggeving werken beoordelaars met een dashboard dat een "user memories summary" bevat—een overzicht van eerdere gesprekken van een persoon dat details kan onthullen zoals de algemene locatie, het beroep of het persoonlijke leven, ook al worden gebruikersnamen verwijderd.

OpenAI heeft gezegd dat de beoordelingen bedoeld zijn om twee specifieke gedragingen in te dammen: een chatbot die zich te menselijk gedraagt, en een chatbot die te meegaand is—een eigenschap die onderzoekers sycophancy noemen, waarbij een AI de gebruiker vertelt wat het denkt dat die wil horen in plaats van wat accuraat is.

ChatGPT heeft meer dan 900 miljoen wekelijkse gebruikers, van wie velen het gebruiken als een dagboek, een therapeut of een zoekmachine die alleen zij kunnen zien. Mensen typen er gezondheidsklachten, liefdesbrieven na een breuk, belastingvragen en juridische problemen in. De rechtszaak stelt dat het privacybeleid van OpenAI weliswaar enkele categorieën externe partijen noemt die toegang krijgen tot gebruikersgegevens, maar data-annotatie- of menselijke beoordelingsleveranciers nooit specifiek daaronder schaart.

De klacht bevat acht afzonderlijke juridische claims, waaronder schendingen van de Unfair Competition Law van Californië en de Consumer Privacy Act van die staat, naast common-law-claims zoals intrusion upon seclusioneen privacydelict dat het bespieden van iemands privéleven op een manier behandelt die een redelijk persoon aanstootgevend zou vinden. Eisers vragen schadevergoeding, restitution en punitive damages.

De gevraagde injunction is specifiek. De eisers willen dat OpenAI expliciete toestemming (opt-in) vereist voordat een gesprek naar een externe beoordelaar gaat, dat de instelling "Improve the model for everyone" standaard uit staat in plaats van aan, dat er een duidelijke waarschuwing in het chatvenster zelf komt, en dat het werkproduct dat aan de beoordeelde gesprekken is gekoppeld mogelijk wordt verwijderd, terwijl modellen die het hebben gebruikt opnieuw worden getraind. Die schakelaar bestaat vandaag al, maar staat standaard aan—gebruikers die willen dat hun gesprekken worden uitgesloten van dit soort beoordeling moeten die dus momenteel zelf opzoeken en uitzetten.

Omdat de zaak nog een voorgestelde collectieve actie is, moet deze eerst door de certificering van de groep komen voordat deze namens de bredere groep gebruikers kan verdergaan. Het antwoord van OpenAI is uiterlijk 13 oktober verschuldigd.