Ming-3.0-Audio Flash — модель для понимания и генерации речи
Большая аудиомодель inclusionAI распознаёт речь, анализирует звуки и отвечает текстом или голосом. Всего 126 млрд параметров, 6,5 млрд активных на шаг.
Ming-3.0-Audio Flash — аудиоязыковая модель inclusionAI для распознавания речи, вопросов по аудиозаписям и понимания звуков. Она принимает аудио вместе с текстовой инструкцией и формирует текстовый ответ; в поддерживаемом режиме ответ можно озвучить. Модель опубликована с открытыми весами под лицензией MIT.
Что модель понимает в аудио
Речь, шум, музыка и длинные записи
Flash работает с китайской и английской речью, в том числе с разными акцентами и диалектами, шумными записями и несколькими собеседниками. Модель может транскрибировать сказанное, отвечать на вопросы по записи и анализировать неречевые звуки, акустическую обстановку и музыку. Для длинных записей разработчики отдельно указывают возможности анализа продолжительного аудио.
В анонсе Flash также описана работа с инструментами. Официальная карточка подробнее документирует аудиоввод, распознавание, вопросы по содержимому и речевой ответ; конкретный сценарий интеграции зависит от используемого приложения и среды запуска.
126 млрд параметров, из них 6,5 млрд активны на шаг
Активная часть не равна размеру всей модели
Flash построена по архитектуре Mixture of Experts: в ней около 126 млрд параметров всего и примерно 6,5 млрд активируются при одном шаге обработки. Показатель активных параметров описывает вычисления на шаг, но не означает, что для развёртывания достаточно памяти под модель размером 6,5 млрд. Это крупный checkpoint, рассчитанный на соответствующую вычислительную инфраструктуру.
Для запуска разработчик публикует примеры на Transformers и инструкции по обслуживанию через vLLM-Omni и SGLang. Веса находятся на Hugging Face, а реализация и рецепты развёртывания — в репозитории Ming-3.0-Audio.
Как использовать результаты модели
От расшифровки к голосовому ответу
Flash может выступать основой для голосового помощника, анализа записей звонков, поиска фактов в аудио или диалогового интерфейса. Отдельная компактная версия Ming-3.0-Audio Tiny поддерживает похожие задачи при меньшем общем числе параметров. Для приложений, которым нужна только транскрипция, предусмотрена Ming-3.0-ASR Tiny.
Как и у других аудиомоделей, распознавание может ошибаться на именах, терминологии, перекрывающейся речи и плохой записи. Для решений, связанных с клиентскими обращениями, медициной или финансами, транскрипт и выводы по нему стоит проверять.