Ming-3.0-Audio Tiny — компактная модель для аудиодиалога
Модель понимает китайскую и английскую речь, звуки и музыку, отвечает на вопросы по записи и при необходимости генерирует голосовой ответ.
Ming-3.0-Audio Tiny — компактная аудиоязыковая модель inclusionAI. Она принимает аудио и текстовую инструкцию, может распознавать речь, отвечать на вопросы по записи, анализировать звуки и музыку, а затем вернуть текст или озвученный ответ. Разработчик указывает 9,3 млрд параметров всего и около 2,7 млрд активных на каждом шаге.
Больше, чем автоматическая расшифровка
Модель анализирует смысл записи и окружающие звуки
Tiny работает с китайским и английским языками, акцентами, диалектами, шумными записями и несколькими говорящими. Она рассчитана на распознавание речи, вопросы по длинным аудиозаписям и рассуждения по услышанному. Входом могут быть и неречевые звуки — например, шум окружающей среды или музыка.
В отличие от специализированной модели распознавания речи, Tiny может продолжить разговор по содержанию аудиозаписи и сформировать ответ. При необходимости этот ответ можно синтезировать голосом — встроенным или заданным через аудиопример.
Как соотносятся Tiny и Flash
Та же аудиосемья, но разный масштаб
Ming-3.0-Audio Tiny использует MoE-архитектуру и включает около 9,3 млрд параметров, из которых 2,7 млрд активируются на шаг. Более крупная Ming-3.0-Audio Flash содержит 126 млрд параметров и около 6,5 млрд активных. Эти числа не равны требуемому объёму видеопамяти: для запуска учитывается весь checkpoint и дополнительные компоненты, а не только активные эксперты.
Обе версии распространяются под лицензией MIT. В документации для Tiny описаны запуск через Transformers, SGLang и vLLM-Omni. Проверенный профиль SGLang даёт текстовый вывод на одной видеокарте; профиль с озвучиванием использует отдельные части модели для понимания и генерации речи, поэтому требует более сложной конфигурации.
Для каких задач пригодится
От голосового интерфейса до разбора записей
Модель можно использовать как основу для голосового помощника, который не только переводит речь в текст, но и отвечает на вопросы о разговоре, либо для поиска нужных эпизодов в записях. Если нужна только расшифровка с контекстными подсказками и диалектами, посмотрите отдельную Ming-3.0-ASR Tiny. Для генерации речи из текста без аудиодиалога есть Ming-3.0-TTS 0.5B.
«Tiny» здесь означает младший размер внутри семейства, а не готовое приложение для телефона. Это модельные веса для разработчиков: для запуска нужны совместимый вычислительный ускоритель, библиотеки и настройка инференса.