Hy-SimulMT — модель синхронного перевода речи

Hy-SimulMT — модель Tencent Hunyuan для синхронного перевода устной речи между китайским и английским. Она принимает аудио непрерывным потоком и постепенно выводит перевод, пока говорящий ещё не закончил фразу. Для озвучивания перевода и сохранения особенностей голоса требуется отдельно настроить службу синтеза речи.

Такой формат рассчитан на встречи, выступления, интервью и другие разговоры, где слушателю важно понимать сказанное без ожидания полной расшифровки. Для перевода уже готового текста у Tencent есть отдельная модель Hy-MT2-30B-A3B; о разработчике можно прочитать в статье Tencent Hunyuan в Вики FutureTools.

Как работает синхронный перевод

Перевод появляется по ходу речи

В обычном сценарии сначала ждут окончания речевого фрагмента, затем распознают его и переводят. Hy-SimulMT рассчитана на непрерывный звук: по мере поступления речи система начинает формировать перевод небольшими частями. Это сокращает ожидание, но требует от модели переводить фразу до того, как стали известны все её слова.

Когда дальнейший контекст меняет смысл начатой фразы, ранний вариант перевода может потребовать уточнения. Tencent показывает в демонстрациях, что система способна начинать говорить раньше и затем корректировать формулировку. Поэтому темп и естественность результата зависят не только от модели, но и от конкретной речи, окружения и настроек озвучивания.

Что означают три секунды в тесте

В тесте Tencent на длинных аудиозаписях набора RealSI показатель StreamLAAL для Hy-SimulMT составил около трёх секунд. Это оценка задержки поточного перевода относительно речи говорящего, а не обещание, что первые слова перевода всегда прозвучат ровно через три секунды. В документации отдельно отмечено, что StreamLAAL не равен времени до первого речевого ответа.

Китайский и английский — два направления

Текстовый и речевой результат

Опубликованные версии переводят с китайского на английский и с английского на китайский. Репозиторий предлагает варианты, которые выводят только перевод, а также модели Interleave, показывающие исходный текст вместе с переводом. Это удобно, когда нужно следить за распознаванием и проверять, как исходная фраза соотносится с результатом.

Для голосового перевода SimulInfer можно подключить отдельную TTS-службу. В такой конфигурации синтезатор озвучивает перевод и может воспроизводить узнаваемые особенности исходного голоса. Сам языковой чекпойнт не включает готовую службу озвучивания: её нужно выбрать, настроить и запустить отдельно.

Модели и способы запуска

Варианты весов

В репозитории опубликованы модели Hy-SimulMT-30B-A3B в форматах BF16, FP8 и GGUF. Есть варианты Interleave с исходным текстом и переводом. Tencent также выпустила SimulInfer для веб-интерфейса, загрузки аудиофайлов и работы через WebSocket в реальном времени, а SimulTrain содержит инструменты для продолжения обучения модели.

Требования к оборудованию

Основной рекомендуемый путь запуска использует Linux и vLLM с поддержкой архитектуры модели, а для расчётов нужны совместимые NVIDIA GPU и драйвер. В инструкции Tencent оценка объёма BF16-весов составляет около 57 ГБ — дополнительно потребуется память для кэша и самой службы. Поэтому отметка 30B-A3B не означает, что полная BF16-модель поместится на обычной игровой видеокарте.

GGUF-варианты доступны, но на дату публикации поддержка Hy-SimulMT ещё не была включена в основной репозиторий llama.cpp. Для этого пути проверьте, поддерживает ли выбранная версия нужную архитектуру и серверный режим; наличие файла GGUF само по себе совместимость не гарантирует.

Что показывают опубликованные оценки

Бенчмарки и сравнение с переводчиками

В тестах Tencent на коротких аудиозаписях Hy-SimulMT получила лучший результат среди перечисленных систем на RealSI-Sentence, а также показала высокие оценки на FLEURS и ACL6060. В длинном RealSI-сравнении команда сообщает о наименьшем StreamLAAL среди представленных моделей и более высокой оценке GEMBA, чем у сравнивавшихся открытых моделей и четырёх из пяти коммерческих API.

Отдельное сравнение с людьми включало 18 записей длительностью примерно шесть минут и шесть профессиональных переводчиков. Tencent сообщает о качестве на уровне экспертов на этих примерах. Это небольшая оценка самой команды, а не исчерпывающая проверка для всех языковых вариантов, тем и условий. Для ситуаций, где ошибка может повлечь серьёзные последствия, профессиональная проверка остаётся важной.

Лицензия и доступ

Apache 2.0 с условиями сторонних компонентов

Код и веса Hy-SimulMT распространяются по Apache 2.0. В лицензионном файле указано, что отдельные сторонние компоненты сохраняют собственные лицензии, поэтому для их использования действуют соответствующие условия.

Модель можно попробовать в приложении Hy Translate или развернуть самостоятельно с помощью SimulInfer. Исходный код, веса и инструкции по запуску опубликованы в репозитории Tencent Hunyuan.