NVIDIA Audio Flamingo 2
Audio Flamingo 2 анализирует речь, музыку и звуки, включая длинные записи длительностью до пяти минут.
Audio Flamingo 2 — второе поколение аудиоязыковой модели NVIDIA для понимания звуковых событий и рассуждений по аудиозаписи. Оно расширяет первую Audio Flamingo: добавляет специализированные наборы AudioSkills и LongAudio и обучается работать с более длинными фрагментами. NVIDIA публикует варианты весов трёх размеров — 0,5 млрд, 1,5 млрд и 3 млрд параметров.
Понимание длинных аудиозаписей
До пяти минут в одном входе
В официальном описании заявлена обработка звука длительностью до пяти минут. Это позволяет задавать вопросы не только о коротком фрагменте, но и о последовательности событий: например, что изменилось со временем, когда прозвучал конкретный звук и как связаны речь и окружение. Данные LongAudio включают длинные записи и задачи поиска фактов, временных связей и содержания отдельных частей.
Три размера опубликованных весов
От компактного варианта до 3B
На странице NVIDIA ADLR перечислены чекпойнты на 0,5B, 1,5B и 3B. Главные результаты публикации относятся к модели с языковой основой 3B; более компактные варианты дают разработчикам выбор между требованиями к вычислительным ресурсам и полноразмерной конфигурацией. Веса следует считать исследовательскими: модельная карточка указывает некоммерческое использование и дополнительные условия базовой Qwen 2.5 и обучающих данных.
Данные и оценка
Рассуждения о звуке, речи и музыке
AudioSkills предназначен для экспертных вопросов о свойствах и причинах звуков, а LongAudio — для понимания длительных записей. NVIDIA сообщила о сравнении Audio Flamingo 2 более чем на двадцати тестах, но результаты бенчмарков не гарантируют одинаковую точность на пользовательских аудиозаписях. Для последующего поколения см. Audio Flamingo 3; специализированная версия с улучшенным пошаговым анализом звуков — Audio Flamingo 2 Sound-CoT.
Связанные модели и разработчик
Страницы семейства NVIDIA
NVIDIA Audio Flamingo · NVIDIA Audio Flamingo 3 · NVIDIA Audio Flamingo 2 Sound-CoT · NVIDIA в Вики Futuretools
Дата публикации и первичный источник
Материалы NVIDIA
Страница NVIDIA ADLR датирует публикацию модели 13.02.2025, перечисляет варианты 0.5B, 1.5B и 3B и указывает обработку аудио до пяти минут. Карточки весов NVIDIA уточняют ограничения лицензии: чекпойнты предназначены для некоммерческого использования. Первичный источник: официальные материалы NVIDIA.