Block, la société de paiements anciennement connue sous le nom de Square, a présenté Dessa, un nouveau modèle de voix IA entraîné entièrement sur des conversations humaines plutôt que sur des textes écrits. La société a déclaré que le modèle est conçu pour communiquer en temps réel tout en reconnaissant les signaux émotionnels, les interruptions et les schémas naturels de parole.

Selon Block, Dessa a été entraîné from scratch uniquement à partir d'enregistrements de parole humaine, sans données textuelles ni modèles pré-entraînés. Contrairement aux assistants vocaux classiques, qui convertissent la parole en texte avant de générer une réponse, Dessa traite et génère directement l'audio grâce à une architecture de parole à parole.

Le modèle prend en charge l'écoute et la parole simultanées, ce qui lui permet d'interrompre, de répondre aux pauses et d'ajuster son ton au cours des conversations. Block a indiqué que Dessa peut fonctionner localement sur un MacBook Pro équipé de la puce M4 Max d'Apple ou supérieure, sans nécessiter d'infrastructure cloud pour l'inférence — une rupture avec la plupart des assistants vocaux largement utilisés, qui dépendent de serveurs distants pour traiter les demandes orales. La société a publié plusieurs démonstrations du modèle et prévoit d'accorder un accès anticipé à un petit groupe de chercheurs en sécurité de l'IA.

Dessa apprend à communiquer sans texte

Block a déclaré que Dessa avait été développé pour explorer si les modèles d'IA peuvent acquérir le langage et des capacités conversationnelles par la seule parole, de manière similaire à la façon dont les humains apprennent à communiquer avant d'apprendre à lire.

« Les bébés apprennent à parler sans jamais voir un mot écrit. Nous voulions savoir si un modèle pouvait le faire aussi. C'est possible. C'est juste très difficile », a déclaré la société.

Le modèle utilise ce que Block décrit comme une architecture full duplex, ce qui signifie qu'il peut écouter et parler en même temps plutôt que d'attendre qu'une personne ait terminé avant de répondre. Block a indiqué que cette conception permet à Dessa de reconnaître les rires, le sarcasme, les changements de ton et les expressions émotionnelles qui peuvent être perdus lorsque la parole est convertie en texte.

La société a ajouté que Dessa a appris le langage avec des centaines de fois moins de mots que les modèles de langage textuels classiques, bien qu'elle n'ait pas fourni de comparaison détaillée. Block a également déclaré que le modèle avait été entraîné sur un seul système NVIDIA GB200 NVL72, ce qui suggère que le développement d'une IA axée sur la parole pourrait nécessiter une approche différente de l'infrastructure de calcul.

Des démonstrations qui montrent des promesses et des limites

Dans des démonstrations partagées par le responsable de Dessa, Ragavan Thurairnam, sur X — 1, 2 —, le modèle engage des conversations sur des films, répond à des histoires personnelles et interagit avec le modèle vocal GPT Live 1 d'OpenAI, l'un des nombreux assistants vocaux en temps réel en développement par les grandes entreprises technologiques. D'autres exemples montrent Dessa participant à des jeux de devinettes et ajustant ses réponses au cours des conversations.

Certaines démonstrations révèlent également des limites, notamment des cas où le modèle identifie mal un locuteur ou change de sujet de manière inattendue. Les exemples ont été sélectionnés et publiés par Block, et les performances du modèle n'ont pas été évaluées de manière indépendante.

Conscience émotionnelle et sécurité de l'IA

Au-delà des capacités conversationnelles, Block a déclaré que Dessa avait été développé pour étudier comment les systèmes d'IA pourraient mieux comprendre les émotions humaines et réagir de manière appropriée dans des situations sensibles. La société fait valoir que les assistants vocaux traditionnels perdent des informations importantes lorsqu'ils convertissent la parole en texte, notamment les signes de frustration, de détresse et de changements émotionnels.

« L'IA ne cesse de gagner en puissance et en autonomie, et elle reste presque sourde à l'émotion dans nos voix », a déclaré l'équipe Dessa.

Block a cité des situations où une personne ressentant une douleur intense pourrait interagir avec un système d'IA incapable de reconnaître sa détresse. La société a indiqué que son approche pourrait aider à remédier à ces limites en permettant aux modèles d'IA d'interpréter directement les signaux émotionnels à partir de la parole — une question qui prend de l'importance alors que la voix conversationnelle devient une interface plus courante pour les produits d'IA dans l'industrie technologique.

Le projet est développé par une petite équipe de recherche chez Block dirigée par Ragavan Thurairatnam, dont les membres ont précédemment travaillé chez Dessa, une start-up d'IA de Toronto portant le même nom. Les chercheurs rendent compte directement à Jack Dorsey, cofondateur et directeur général de Block, et ont passé plusieurs années à développer des technologies de synthèse vocale générative.

Block prévoit d'accorder un accès anticipé à des chercheurs en sécurité de l'IA sélectionnés afin d'identifier les risques potentiels et d'étudier le comportement des modèles entraînés exclusivement sur la parole. La société n'a pas divulgué de date de lancement plus large, de poids du modèle ni de benchmarks de performances détaillés, laissant le programme d'accès anticipé comme principale fenêtre par laquelle les observateurs externes pourront probablement découvrir les performances de Dessa au-delà des exemples fournis par l'entreprise.