Cosmos-Transfer1

Cosmos-Transfer1 — семейство диффузионных моделей NVIDIA для преобразования структурированных данных сцены в видеоматериалы. Открытая первая версия стала доступна 6 января 2025 года. Модель может использовать подсказку на естественном языке и управляющее видео, чтобы создать реалистичный вариант той же сцены с заданными объектами, поверхностями или движением.

Как работает Transfer1

Управление результатом через структуру сцены

В качестве условий можно передать карты границ, размытого изображения, сегментации, глубины или ключевых точек человека. Такие сигналы задают расположение объектов и структуру кадра, а текстовое описание влияет на визуальный вид результата. Это отличает Transfer от генерации сцены только по текстовому запросу.

Для каких задач предназначена модель

Преобразование симуляции в обучающие данные

NVIDIA описывает Transfer как способ получать фотореалистичные видео на основе структурированных входов, включая результаты симуляции в Omniverse. Синтетические варианты можно использовать при создании наборов данных для роботов и систем автономного вождения. Применимость и качество зависят от исходных управляющих карт и выбранной версии модели.

Варианты и ограничения

Основная модель и специализированные контрольные точки

В каталоге NVIDIA есть базовая модель Cosmos-Transfer1-7B и отдельные специализированные варианты, например контрольная точка для повышения разрешения видео. Такие версии не следует путать с новым поколением Cosmos Transfer 2.5. Лицензия и допустимые способы использования определяются карточкой конкретного веса.

Связанные модели и разработчик

Карточки внутри экосистемы NVIDIA

Cosmos-Transfer2.5 · Cosmos-Predict1 · Cosmos-Predict2.5 · NVIDIA в Вики Futuretools

Дата выпуска и первичный источник

Официальные сведения

Материал NVIDIA о запуске Cosmos от 06.01.2025 подтверждает доступность первой волны открытых моделей. Карточка Transfer1-7B описывает входные управляющие видео и NVIDIA Open Model License. Первичный источник: NVIDIA.