Phonon-2.5 — компактная модель распознавания речи на 25 языках

Phonon-2.5 — локальная модель распознавания речи на 25 языках, включая русский. Весит 156 МБ, работает без GPU и распространяется по CC BY 4.0.

Phonon-2.5 — открытая модель для распознавания речи, которая помещается в файл размером 156 МБ и понимает 25 языков, в том числе русский. Её можно запускать локально на компьютере: для этого не нужна видеокарта, хотя модель также поддерживает ускорение на Apple silicon и видеокартах NVIDIA.

Официальная страница модели: Phonon-2.5

По сравнению с Phonon-2 это не просто уменьшенный файл: новая версия стала многоязычной и показала меньшую среднюю долю ошибок на тестах FLEURS. Предыдущая Phonon-2 была ориентирована на английскую речь.

Что умеет Phonon-2.5

Распознаёт речь на 25 языках

Модель автоматически определяет язык записи — переключать его вручную не нужно. Поддерживаются английский, испанский, французский, немецкий, итальянский, португальский, нидерландский, польский, русский, украинский, румынский, чешский, словацкий, болгарский, хорватский, шведский, датский, финский, эстонский, латышский, литовский, венгерский, словенский, мальтийский и греческий.

На вход подаётся аудио, а на выходе получается текст с заглавными буквами и пунктуацией. В режиме JSON программа также возвращает временные отметки слов — это помогает синхронизировать расшифровку с записью или искать нужный фрагмент.

Размер и точность

156 МБ для загрузки, около 178 МБ на диске

Phonon-2.5 создана на основе Parakeet TDT 0.6B v3 с применением сверхнизкой точности представления весов. Поэтому файл для загрузки примерно в 16 раз меньше исходной модели. При этом проект сохраняет открытые веса: их можно скачать и запускать на своей инфраструктуре.

В тесте FLEURS — наборе прочитанных вслух фраз на разных языках — разработчик сравнил модели на полных тестовых выборках с одинаковой обработкой текста. Чем ниже WER (доля ошибок в словах), тем точнее расшифровка.

Модель Размер загрузки Средний WER на 25 языках WER для русского
Phonon-2.5 156 МБ 11,71% 8,67%
Parakeet Redux 178 МБ 12,18% 9,01%
Parakeet TDT 0.6B v3 2,5 ГБ 13,26% 7,21%

В среднем по FLEURS Phonon-2.5 показала меньше ошибок, чем Parakeet Redux и исходная Parakeet TDT 0.6B v3. Для русского языка результат лучше, чем у Redux, но уступает полноразмерной Parakeet. Это важное уточнение: лидерство по среднему показателю не означает, что модель лучшая на каждом отдельном языке и типе записи.

Сравнение с Whisper large-v3

Fermion Research также сообщает, что средняя доля ошибок Phonon-2.5 на 25 языках ниже, чем у Whisper large-v3, хотя файл Whisper примерно в 20 раз больше. Это сравнение приводится разработчиком модели; на странице релиза опубликованы подробные таблицы для FLEURS и других контрольных наборов.

Насколько быстро она работает

Около 20 секунд на час записи — ориентир, а не гарантия

По данным разработчика, Phonon-2.5 работает примерно с той же скоростью, что и Phonon-2. Для предыдущей модели опубликован результат 174× относительно длительности аудио на MacBook Air с чипом M5: час записи обрабатывается примерно за 20 секунд после загрузки модели в память. Первый запуск движка может занять 10–40 секунд, поэтому это число описывает собственно распознавание, а не полное время от установки до готового текста.

Фактическая скорость зависит от компьютера, длины и формата записи, а также способа запуска. Заявление о скорости следует воспринимать как результат измерений Fermion Research на указанной конфигурации, а не обещание для любого MacBook Air.

Где и как запустить модель

Через командную строку

Официальный пакет устанавливается из PyPI. Базовый пример для файла с записью выглядит так:

pip install fermion-research
fermion transcribe phonon-2.5 meeting.wav

Добавление параметра --json возвращает временные отметки для слов. Можно также запустить локальный API, совместимый с OpenAI-форматом распознавания аудио:

fermion transcribe phonon-2.5 meeting.wav --json
fermion serve phonon-2.5 --port 8010

Поддерживаемые компьютеры и ускорение

Модель запускается на процессорах Apple, Linux и Windows, а также на видеокартах NVIDIA. На компьютере Apple с чипом серии M можно использовать вариант пакета с MLX. Для обычной расшифровки GPU не обязателен, но скорость зависит от процессора и конфигурации.

Лицензия и ограничения

Открытые веса и атрибуция

Веса Phonon-2.5 доступны по лицензии CC BY 4.0. Она допускает коммерческое использование, изменение и распространение при соблюдении требований к указанию авторства и происхождения модели. Командная оболочка Fermion Research распространяется отдельно по Apache 2.0 — лицензии весов и программного пакета не следует путать.

Phonon-2.5 предназначена для преобразования речи в текст, а не для перевода или диаризации (разделения записи по говорящим). Для важных материалов результат стоит проверить вручную: качество зависит от шума, акцента, микрофона и тематики записи.

Официальные материалы