Block, платежная компания, ранее известная как Square, представила Dessa — новую голосовую ИИ-модель, обученную исключительно на человеческих разговорах, а не на письменном тексте. Компания заявила, что модель предназначена для общения в реальном времени с распознаванием эмоциональных сигналов, перебиваний и естественных речевых паттернов.

По данным Block, Dessa была обучена с нуля только на записях человеческой речи, без текстовых данных или предобученных моделей. В отличие от обычных голосовых ассистентов, которые преобразуют речь в текст перед генерацией ответа, Dessa обрабатывает и генерирует звук напрямую через архитектуру «речь-в-речь».

Модель поддерживает одновременное прослушивание и говорение, что позволяет ей перебивать собеседника, реагировать на паузы и менять тон во время разговора. Block сообщила, что Dessa может работать локально на MacBook Pro с чипом Apple M4 Max или новее, без использования облачной инфраструктуры для инференса — это отход от большинства широко распространенных голосовых ассистентов, которые зависят от удаленных серверов для обработки голосовых запросов. Компания опубликовала несколько демонстраций модели и планирует предоставить ранний доступ небольшой группе исследователей безопасности ИИ.

Dessa учится общаться без текста

Block заявила, что Dessa была создана для изучения того, могут ли ИИ-модели приобретать языковые и разговорные навыки только через речь — подобно тому, как люди учатся общаться до того, как научатся читать.

«Дети учатся говорить, ни разу не увидев написанного слова. Мы хотели проверить, сможет ли и модель. Сможет. Просто это очень сложно», — заявила компания.

Модель использует то, что Block называет архитектурой полного дуплекса: она может одновременно слушать и говорить, а не ждать, пока человек закончит говорить. По словам Block, такая конструкция позволяет Dessa распознавать смех, сарказм, изменения тона и эмоциональные проявления, которые могут быть утрачены при преобразовании речи в текст.

Компания добавила, что Dessa усвоила язык, используя в сотни раз меньше слов, чем обычные текстовые языковые модели, хотя детального сравнения она не предоставила. Block также сообщила, что модель обучалась на одной системе NVIDIA GB200 NVL72, что позволяет предположить: разработка речевого ИИ может требовать иного подхода к вычислительной инфраструктуре.

Демонстрации показывают возможности и ограничения

В демонстрациях, опубликованных руководителем проекта Dessa Рагаваном Тураиратнамом в X — 1, 2, — модель беседы о фильмах, реагирует на личные истории и взаимодействует с голосовой моделью OpenAI GPT Live 1 — одной из растущего числа голосовых ассистентов реального времени, разрабатываемых крупными технологическими компаниями. Другие примеры показывают участие Dessa в играх-угадайках и корректировку ответов в ходе разговора.

Некоторые демонстрации также выявляют ограничения, включая случаи, когда модель неверно определяет говорящего или неожиданно меняет тему. Примеры были отобраны и опубликованы Block, а работа модели не оценивалась независимо.

Эмоциональное восприятие и безопасность ИИ

Помимо разговорных способностей, Block заявила, что Dessa создавалась для исследования того, как ИИ-системы могут лучше понимать человеческие эмоции и адекватно реагировать в чувствительных ситуациях. Компания утверждает, что традиционные голосовые ассистенты теряют важную информацию при преобразовании речи в текст, включая признаки раздражения, дистресса и эмоциональных изменений.

«ИИ продолжает набирать мощность и самостоятельность, но при этом остается практически глухим к эмоциям в нашем голосе», — заявила команда Dessa.

Block указала на ситуации, в которых человек, испытывающий сильную боль, может взаимодействовать с ИИ-системой, не распознающей его состояние. По словам компании, ее подход может помочь устранить эти ограничения, позволяя ИИ-моделям интерпретировать эмоциональные сигналы напрямую из речи — вопрос, приобретающий актуальность по мере того, как голосовое общение становится все более распространенным интерфейсом ИИ-продуктов в технологической отрасли.

Проект разрабатывает небольшая исследовательская группа в Block под руководством Рагавана Тураиратнама, в состав которой входят сотрудники, ранее работавшие в Dessa — базирующемся в Торонто ИИ-стартапе с таким же названием. Исследователи подчиняются напрямую Джеку Дорси, сооснователю и главе Block, и в течение нескольких лет занимались разработкой генеративных речевых технологий.

Block планирует предоставить ранний доступ отдельным исследователям безопасности ИИ для выявления потенциальных рисков и изучения поведения моделей, обученных исключительно на речи. Компания не раскрыла более широкую дату релиза, веса модели или подробные показатели производительности, оставив программу раннего доступа основным каналом, через который внешние наблюдатели, вероятно, смогут узнать, как Dessa работает за пределами собственных примеров компании.