Voxtral TTS Realtime 3

Voxtral TTS Realtime 3 — потоковая модель синтеза речи из семейства Voxtral 3. Она предназначена для сценариев, в которых текст формируется во время взаимодействия и его нужно озвучивать без ожидания завершения всей генерации. В документации Mistral модель выделена отдельно от Voxtral TTS 3, предназначенной для полного текста и потокового воспроизведения результата.

Где нужен realtime-синтез

Такой режим может использоваться в голосовых помощниках, разговорных интерфейсах и системах поддержки. Агент получает реплику пользователя, передаёт её модели для анализа, а затем начинает воспроизводить ответ частями по мере готовности. Если человек перебивает систему, приложение может остановить текущую реплику и переключиться на новый запрос.

Как Voxtral объединяет речь и действия

Voxtral 3 — не только набор аудиомоделей: Mistral выпустила SDK голосового агента, который объединяет потоковое распознавание, рассуждение языковой модели, вызовы инструментов и синтез речи. В демонстрации компании полный цикл разговора занимает менее секунды, однако эта оценка относится ко всей системе и зависит от модели рассуждения, сетевой задержки и подключённых сервисов.

Отличие от Voxtral TTS 3

Voxtral TTS 3 рассчитана на озвучивание завершённого текста и предлагает пресетные голоса, клонирование, теги эмоций и темпа, а также настройку произношения. Realtime-версия предназначена для разговоров, где ответ поступает постепенно. Для распознавания входящего аудио можно использовать Voxtral Mini Transcribe Realtime 3.

Документация

Идентификатор и режим модели указаны в руководстве Mistral по синтезу речи. О запуске семейства и SDK можно прочитать в официальном анонсе Voxtral 3. Другие продукты компании собраны в Вики Futuretools.