Dos usuarios de ChatGPT de California presentaron una demanda colectiva propuesta contra OpenAI, alegando que la compañía permitió que contratistas externos leyeran conversaciones reales de usuarios sin la divulgación adecuada. El caso se presentó este mes en el Tribunal de Distrito de EE. UU. para el Distrito Norte de California. OpenAI fue notificada el 2 de septiembre y tiene hasta el 13 de octubre para responder ante el tribunal.

La demanda se centra en "Project Lily", un programa interno de OpenAI en el que contratistas contratados a través de empresas externas de personal resumen los avisos de los usuarios y califican las respuestas del chatbot en una escala de uno a siete. La demanda judicial acusa a la compañía de enviar chats reales de usuarios a revisores externos sin informar claramente a los usuarios primero.

Según la demanda, los contratistas contratados para roles como "revisor de datos de IA" y "evaluador de chatbots" leen avisos reales de ChatGPT y conversaciones completas, resumen lo que el usuario intentaba lograr y luego califican y critican cuatro respuestas diferentes del modelo en una escala de uno a siete.

Ese proceso es una versión básica de cómo chatbots como ChatGPT realmente mejoran. Humanos califican las respuestas de la IA, y esas calificaciones se retroalimentan al entrenamiento para que el modelo aprenda qué respuestas prefieren las personas, una técnica que la industria llama aprendizaje por refuerzo con retroalimentación humana, o RLHF. La acusación central de la demanda es que nunca se informó claramente a los usuarios que una persona, y no solo una máquina, podría ser quien lea sus chats. Y como RLHF es una técnica de la que depende toda la industria, la disputa se centra menos en cómo se entrenan los chatbots y más en con qué claridad deben las empresas divulgar que ojos humanos podrían leer las conversaciones de los usuarios.

OpenAI sí somete las conversaciones a un sistema automatizado antes de que un humano las vea. La demanda alega que el filtro no siempre detecta todo, lo que significa que los datos personales a veces llegan de todos modos a los contratistas.

Project Lily fue expuesto por primera vez por medio 404 Media el 14 de septiembre. Según su reportaje, los revisores trabajan desde un panel que incluye un "resumen de memorias del usuario", un repaso de los chats anteriores de una persona que puede revelar detalles como su ubicación general, profesión o vida personal, aunque los nombres de usuario se eliminan.

OpenAI ha dicho que las revisiones buscan frenar dos comportamientos específicos: el chatbot actuando de manera demasiado humana y el chatbot siendo demasiado complaciente, un rasgo que los investigadores llaman sycophancy, en el que una IA le dice al usuario lo que cree que quiere escuchar en lugar de lo que es exacto.

ChatGPT tiene más de 900 millones de usuarios semanales, muchos de los cuales lo tratan como un diario, un terapeuta o un buscador que solo ellos pueden ver. Las personas escriben sobre síntomas de salud, mensajes de ruptura, preguntas de impuestos y problemas legales. La demanda argumenta que la política de privacidad de OpenAI menciona algunas categorías de terceros que obtienen acceso a los datos de los usuarios, pero nunca señala específicamente a los proveedores de anotación de datos o evaluación humana entre ellos.

La demanda incluye ocho reclamos legales separados, incluidas violaciones de la Ley de Competencia Desleal de California y su Ley de Privacidad del Consumidor, junto con reclamos de derecho consuetudinario como la intromisión en la privacidad, un agravio de privacidad que cubiere entrometerse en los asuntos privados de alguien de una manera que una persona razonable consideraría ofensiva. Los demandantes buscan daños, restitución y daños punitivos.

La orden judicial solicitada es específica. Los demandantes quieren que OpenAI exija el consentimiento explícito antes de que cualquier conversación llegue a un revisor externo, que la configuración "Mejorar el modelo para todos" esté desactivada por defecto en lugar de activada, que agregue una advertencia clara dentro de la ventana de chat y, potencialmente, que elimine los productos de trabajo vinculados a las conversaciones revisadas mientras vuelve a entrenar los modelos que las usaron. Ese interruptor ya existe hoy, pero está activado por defecto, por lo que los usuarios que desean excluir sus chats de este tipo de revisión actualmente tienen que encontrarlo y desactivarlo ellos mismos.

Como la demanda aún es una acción colectiva propuesta, debe superar la certificación de la clase antes de poder avanzar en nombre del grupo más amplio de usuarios. La respuesta de OpenAI vence el 13 de octubre.