Deux utilisateurs de ChatGPT californiens ont déposé une action collective proposée contre OpenAI, alléguant que l'entreprise a permis à des sous-traitants externes de lire de véritables conversations d'utilisateurs sans divulgation adéquate. L'affaire a été déposée ce mois-ci devant le tribunal fédéral des États-Unis pour le district nord de la Californie. OpenAI a été signifiée le 2 septembre et dispose jusqu'au 13 octobre pour répondre devant le tribunal.

La plainte porte sur « Project Lily », un programme interne d'OpenAI dans lequel des sous-traitants recrutés par des agences d'intérim tierces résument les requêtes des utilisateurs et notent les réponses du chatbot sur une échelle de un à sept. L'assignation accuse l'entreprise d'avoir transmis de véritables conversations d'utilisateurs à des réviseurs externes sans en informer clairement les utilisateurs au préalable.

Selon la plainte, des sous-traitants recrutés pour des postes tels que « AI data reviewer » et « chatbot evaluator » lisent de véritables requêtes ChatGPT et des conversations complètes, résument ce que l'utilisateur cherchait à accomplir, puis notent et critiquent quatre réponses différentes du modèle sur une échelle de un à sept.

Ce processus est une version basique de la manière dont les chatbots comme ChatGPT s'améliorent réellement. Des humains notent les réponses de l'IA, et ces notes sont réinjectées dans l'entraînement afin que le modèle apprenne quelles réponses les gens préfèrent — une technique que l'industrie appelle l'apprentissage par renforcement à partir de retours humains, ou RLHF. L'allégation centrale de la plainte est que les utilisateurs n'ont jamais été clairement informés qu'une personne, et pas seulement une machine, pourrait être celle qui lit leurs conversations. Et comme le RLHF est une technique sur laquelle s'appuie l'ensemble du secteur, le litige porte moins sur la manière dont les chatbots sont entraî que sur la clarté avec laquelle les entreprises doivent divulguer que des regards humains peuvent se poser sur les conversations des utilisateurs.

OpenAI fait bien passer les conversations par un système automatisé avant que tout humain ne les voie. La plainte allègue que ce filtre ne détecte pas toujours tout, ce qui signifie que des détails personnels parviennent parfois quand même aux sous-traitants.

Project Lily a été révélé pour la première fois par le média 404 Media le 14 septembre. Selon son enquête, les réviseurs travaillent à partir d'un tableau de bord comprenant un « résumé des mémoires utilisateur » — un récapitulatif des conversations passées d'une personne pouvant révéler des détails tels que sa zone géographique approximative, sa profession ou sa vie personnelle, même si les noms d'utilisateur sont supprimés.

OpenAI a déclaré que ces révisions visaient à limiter deux comportements spécifiques : le chatbot agissant de manière trop humaine, et le chatbot étant trop complaisant — un trait que les chercheurs appellent la sycophantie, dans lequel une IA dit à l'utilisateur ce qu'elle pense qu'il veut entendre plutôt que ce qui est exact.

ChatGPT compte plus de 900 millions d'utilisateurs hebdomadaires, dont beaucoup le traitent comme un journal intime, un thérapeute ou un moteur de recherche que seul eux peuvent voir. Les gens y saisissent des symptômes de santé, des messages de rupture, des questions fiscales et des problèmes juridiques. La plainte fait valoir que la politique de confidentialité d'OpenAI cite certaines catégories de tiers ayant accès aux données des utilisateurs, mais ne mentionne jamais spécifiquement les prestataires d'annotation de données ou d'évaluation humaine parmi eux.

La plainte contient huit chefs d'accusation distincts, notamment des violations de la loi californienne sur la concurrence déloyale et de sa loi sur la protection de la vie privée des consommateurs, ainsi que des chefs de common law tels que l'atteinte à l'intimité — un délit de vie privée couvrant le fait de s'immiscer dans les affaires privées de quelqu'un d'une manière qu'une personne raisonnable jugerait offensante. Les plaignants demandent des dommages-intérêts, une restitution et des dommages punitifs.

L'injonction demandée est précise. Les plaignants veulent qu'OpenAI exige un consentement explicite avant que toute conversation ne soit transmise à un réviseur externe, que le paramètre « Improve the model for everyone » soit désactivé par défaut au lieu d'être activé, qu'un avertissement clair soit ajouté dans la fenêtre de chat elle-même, et potentiellement que les travaux liés aux conversations examinées soient supprimés tout en réentraînant les modèles qui les ont utilisés. Ce paramètre existe déjà aujourd'hui, mais il est activé par défaut — les utilisateurs qui souhaitent exclure leurs conversations de ce type de révision doivent donc actuellement le trouver et le désactiver eux-mêmes.

Comme l'action est encore une action collective proposée, elle doit passer la certification de la classe avant de pouvoir progresser au nom du groupe élargi d'utilisateurs. La réponse d'OpenAI est attendue le 13 octobre.