Ming-3.0-TTS Tiny — многоязычная генерация речи и диалогов
MoE-модель синтеза речи с 7,9 млрд параметров и 1,3 млрд активных на шаг. Создаёт голоса, управляет подачей и озвучивает диалоги.
Ming-3.0-TTS Tiny — более крупная MoE-модель синтеза речи из семейства Ming. Она создаёт аудио по тексту, управляет голосом и интонацией, а также может озвучивать диалоги с несколькими участниками. Разработчик указывает 7,9 млрд параметров всего и около 1,3 млрд активных при обработке каждого шага.
Чем Tiny отличается от версии 0.5B
Другая языковая основа и отдельные требования к запуску
В основе Tiny лежит Ling V3 с разреженной архитектурой Mixture of Experts: для каждого шага выбирается часть параметров, но это не означает, что весь комплект весов имеет размер только 1,3 млрд параметров. Более компактная плотная версия Ming-3.0-TTS 0.5B использует другую основу и рассчитана на иной профиль задач.
Обе версии умеют синтезировать речь на китайском, английском, немецком, испанском, французском, корейском и японском языках, поддерживают сычуаньский и кантонский диалекты, голос по описанию и клонирование по образцу. Tiny дополнительно показывает сценарий генерации многостороннего разговора — например, подкаста по сценарию с несколькими голосами.
Управление голосом и сценой
Не только текст, но и способ его произнести
В модель можно передать текст, описание голоса или короткий образец, а также параметры выразительности. Разработчики описывают управление эмоциями, темпом, высотой и громкостью; в текст можно добавлять маркеры для пауз, смеха, вздохов и других речевых деталей. Встроенные голоса и подготовленные примеры упрощают проверку результата до интеграции в приложение.
Такие возможности могут пригодиться для озвучивания роликов, аудиосценариев, диалогов персонажей и голосовых прототипов. При этом результат всё равно следует прослушать: качество произношения имён, редких слов и смешения языков зависит от конкретной фразы и входной инструкции.
Что понадобится для запуска
Это модель для развёртывания с Python и CUDA
Веса распространяются по лицензии MIT, а код и инструкции доступны в репозитории Ming-3.0-TTS. Для Tiny разработчики указывают отдельную среду: Python 3.10.15, PyTorch и torchaudio 2.7.1 с CUDA 11.8, а в качестве оборудования рекомендуют NVIDIA H800. Это не готовое мобильное приложение: для самостоятельного запуска нужно подготовить совместимый сервер и зависимости.
Синтез диалога с аудиовыводом также требует больше вычислительных ресурсов, чем простая генерация текста. Если нужна модель, которая принимает аудио и отвечает на него, сравните Ming-3.0-TTS с Ming-3.0-Audio Tiny.