Ming-3.0-TTS 0.5B — компактная модель для управляемого синтеза речи
Мультиязычная модель inclusionAI озвучивает текст, создаёт голос по описанию и управляет подачей: от эмоций и темпа до диалекта.
Ming-3.0-TTS 0.5B — модель синтеза речи от команды inclusionAI. Она превращает текст в аудио и позволяет задавать не только язык и голос, но и манеру исполнения: например, темп, высоту тона, громкость и эмоцию. Разработчик выпустил веса под лицензией MIT.
Голос по описанию или короткому образцу
Настройка звучания без отдельного обучения
Модель умеет создавать голос по текстовому описанию и воспроизводить тембр по короткой записи-образцу. Также доступны встроенные голоса — более ста китайских и пять английских. При использовании образца исходная запись задаёт голос, а текст определяет содержание новой фразы.
Синтез поддерживает китайский, английский, немецкий, испанский, французский, корейский и японский языки. Для китайской речи разработчики отдельно заявляют поддержку сычуаньского и кантонского диалектов.
Контроль интонации и выразительности
Эмоции, темп, паузы и звуковые маркеры
В инструкциях можно обозначать эмоцию и подачу, менять скорость, высоту тона и громкость. В тексте предусмотрены специальные маркеры для таких деталей, как смех, вздох, кашель, заминка, удивление или вопросительная интонация. Это помогает готовить более выразительную озвучку, чем при простом чтении строки вслух.
Модель подходит для озвучивания роликов, диалогов, аудиоматериалов и прототипов голосовых интерфейсов. Итоговое качество зависит от текста, выбранного голоса и исходной записи, если она используется.
Архитектура и запуск
0,5 млрд параметров — это размер языковой основы, а не гарантия запуска на любом устройстве
Плотная модель построена на основе Qwen2.5-0.5B и дополнена компонентами для генерации и обработки аудио, включая аудиотокенизатор и кодировщик голоса. Веса доступны на Hugging Face, а код инференса и инструкции находятся в репозитории Ming-3.0-TTS.
В официальной инструкции разработчик указывает тестирование на ускорителях NVIDIA H800-80GB и H20-96G с CUDA 12.4. Поэтому число 0,5 млрд само по себе не говорит, что вся система без настройки запустится на телефоне или обычном ноутбуке. Для более крупной MoE-версии есть отдельная страница Ming-3.0-TTS Tiny.