Block, la empresa de pagos antes conocida como Square, ha presentado Dessa, un nuevo modelo de voz con IA entrenado completamente con conversaciones humanas en lugar de texto escrito. La empresa dijo que el modelo está diseñado para comunicarse en tiempo real mientras reconoce señales emocionales, interrupciones y patrones naturales del habla.

Según Block, Dessa fue entrenado desde cero utilizando únicamente grabaciones de voz humana, sin datos de texto ni modelos preentrenados. A diferencia de los asistentes de voz convencionales, que convierten el habla en texto antes de generar una respuesta, Dessa procesa y genera audio directamente mediante una arquitectura de voz a voz.

El modelo permite escuchar y hablar simultáneamente, lo que le permite interrumpir, responder a las pausas y ajustar su tono durante las conversaciones. Block dijo que Dessa puede ejecutarse localmente en una MacBook Pro equipada con el chip M4 Max de Apple o superior, sin requerir infraestructura en la nube para la inferencia, un cambio respecto a la mayoría de los asistentes de voz más utilizados, que dependen de servidores remotos para procesar las solicitudes habladas. La empresa ha publicado varias demostraciones del modelo y planea dar acceso anticipado a un pequeño grupo de investigadores de seguridad de IA.

Dessa aprende a comunicarse sin texto

Block dijo que Dessa fue desarrollado para explorar si los modelos de IA pueden adquirir el lenguaje y habilidades conversacionales solo mediante el habla, de manera similar a cómo los humanos aprenden a comunicarse antes de aprender a leer.

“Los bebés aprenden a hablar sin haber visto jamás una palabra escrita. Queríamos ver si un modelo también podía hacerlo. Puede. Es solo que es muy difícil”, dijo la empresa.

El modelo utiliza lo que Block describe como una arquitectura full duplex, lo que significa que puede escuchar y hablar al mismo tiempo en lugar de esperar a que una persona termine antes de responder. Block dijo que este diseño permite a Dessa reconocer risas, sarcasmo, cambios de tono y expresiones emocionales que pueden perderse cuando el habla se convierte en texto.

La empresa añadió que Dessa aprendió el lenguaje usando cientos de veces menos palabras que los modelos de lenguaje convencionales basados en texto, aunque no proporcionó una comparación detallada. Block también dijo que el modelo fue entrenado en un solo sistema NVIDIA GB200 NVL72, lo que sugiere que el desarrollo de IA enfocada en el habla puede requerir un enfoque diferente de infraestructura de cómputo.

Las demostraciones muestran potencial y límites

En demostraciones compartidas por el líder de Dessa, Ragavan Thurairatnam, en X — 1, 2 — el modelo mantiene conversaciones sobre películas, responde a historias personales e interactúa con el modelo de voz GPT Live 1 de OpenAI, uno de un creciente conjunto de asistentes de voz en tiempo real que están desarrollando las grandes empresas de tecnología. Otros ejemplos muestran a Dessa participando en juegos de adivinanzas y ajustando sus respuestas durante las conversaciones.

Algunas demostraciones también revelan limitaciones, incluidos casos en los que el modelo identifica erróneamente a un hablante o cambia de tema de forma inesperada. Los ejemplos fueron seleccionados y publicados por Block, y el rendimiento del modelo no ha sido evaluado de forma independiente.

Conciencia emocional y seguridad de la IA

Más allá de las capacidades conversacionales, Block dijo que Dessa fue desarrollado para investigar cómo los sistemas de IA podrían comprender mejor las emociones humanas y responder de manera adecuada en sensibles. La empresa sostiene que los asistentes de voz tradicionales pierden información importante al convertir el habla en texto, incluidas las señales de frustración, angustia y cambios emocionales.

“La IA sigue ganando poder e independencia, y aún es casi sorda a la emoción en nuestras voces”, dijo el equipo de Dessa.

Block señaló situaciones en las que una persona que experimenta un dolor intenso podría interactuar con un sistema de IA que no logra reconocer su angustia. La empresa dijo que su enfoque podría ayudar a abordar esas limitaciones al permitir que los modelos de IA interpreten las señales emocionales directamente del habla, una cuestión que gana relevancia a medida que la voz conversacional se convierte en una interfaz más común para los productos de IA en toda la industria tecnológica.

El proyecto está siendo desarrollado por un pequeño equipo de investigación en Block liderado por Ragavan Thurairatnam, con integrantes que trabajaron previamente en Dessa, una startup de IA de Toronto con el mismo nombre. Los investigadores reportan directamente a Jack Dorsey, cofundador y director ejecutivo de Block, y han pasado varios años desarrollando tecnologías de habla generativa.

Block planea otorgar acceso anticipado a investigadores de seguridad de IA seleccionados para identificar riesgos potenciales y estudiar el comportamiento de los modelos entrenados exclusivamente con habla. La empresa no ha revelado una fecha de lanzamiento más amplia, los pesos del modelo ni benchmarks detallados de rendimiento, dejando el programa de acceso anticipado como la principal vía mediante la cual los observadores externos probablemente conocerán el rendimiento de Dessa más allá de los ejemplos de la propia empresa.