SANA-WM — управляемые видеомиры от NVIDIA

SANA-WM — открытая исследовательская модель NVIDIA для генерации длинных управляемых видеосцен. На вход она получает начальное изображение, текстовое описание и маршрут камеры, а на выходе создаёт продолжение сцены в разрешении до 720p. Авторы заявляют генерацию роликов длительностью до минуты.

Главное отличие от обычного запроса «сделай видео по картинке» — возможность заранее задать, как движется камера. Это делает SANA-WM интересной для исследований, связанных с симуляцией окружения и воплощённым ИИ, который должен воспринимать пространство и действовать в нём. При этом модель создаёт видеопоследовательность: это не готовый игровой движок и не интерактивный симулятор с мгновенной реакцией на каждую команду.

Как работает SANA-WM

Для генерации нужны стартовый кадр, описание сцены и последовательность перемещений камеры. Например, модель может продолжить изображение дороги, пока камера движется вперёд, поворачивает и осматривает окружение. Сгенерированные кадры должны сохранять узнаваемость исходной сцены на протяжении всего ролика.

Маршрут камеры вместо случайного движения

Камера задаётся траекторией с шестью степенями свободы: тремя направлениями перемещения и тремя поворотами. В демонстрационном скрипте маршрут можно передать списком команд или подготовить числовую траекторию камеры. Поэтому исследователь задаёт не только содержание кадра, но и путь обзора сцены.

Название «мировая модель» здесь описывает способность продолжать сцену с учётом заданного движения камеры. Оно не означает, что SANA-WM строит полноценную физическую копию мира: результатом остаётся видео, а не интерактивная среда с гарантированно точной физикой.

Для чего может пригодиться модель

NVIDIA развивает мировые модели как основу для задач воплощённого ИИ и симуляций. SANA-WM может быть полезна для экспериментов с генерацией синтетических сцен, проверкой поведения визуальных систем и созданием длинных последовательностей с заданным маршрутом камеры. Применимость результата зависит от конкретной задачи: ролик сам по себе не подтверждает, что робот или другой агент справится с таким же действием в реальном мире.

В линейке NVIDIA есть и другие модели для физического ИИ, например Cosmos-Predict2.5 и семейство GR00T. За исследованиями и открытыми моделями компании можно следить на странице NVIDIA в Вики Futuretools.

Как устроена генерация

В SANA-WM сочетаются блоки внимания для работы с длинной видеопоследовательностью и отдельные ветви управления камерой. После первого этапа генерации может подключаться видеоуточнитель на базе LTX-2: он улучшает детали и согласованность кадров. Поэтому цифра «2,6 млрд параметров» описывает основную модель, но не весь набор компонентов, участвующих в полном процессе.

Зачем нужен второй этап

На длинном ролике важно не только получить отдельные качественные кадры, но и удержать общую сцену: объекты не должны беспричинно менять форму или исчезать при движении камеры. NVIDIA использует второй этап, чтобы доработать видео после основной генерации. У такого конвейера больше требований к памяти и времени, чем можно предположить по числу параметров базовой модели.

Требования к видеокарте

Фраза «работает на одной видеокарте» не означает, что подойдёт любая игровая GPU. В документации репозитория для стандартного режима BF16 указано пиковое потребление около 47,3 ГБ видеопамяти. Для потокового варианта с точностью FP4 NVIDIA приводит около 29,4 ГБ и отдельно отмечает запуск на RTX 5090 с 32 ГБ. FP4 поддерживается на видеокартах поколения Blackwell; на других ускорителях доступность режимов и производительность будут отличаться.

В статье авторов также приводится результат для дистиллированной версии: 60-секундный ролик 720p обрабатывается за 34 секунды на RTX 5090 с NVFP4. Это опубликованный авторами замер для определённой версии модели и конфигурации, а не обещание такой скорости на любой системе.

Установка и доступ к весам

Код и скрипты размещены в репозитории NVlabs/Sana. Это исследовательский проект с Python-окружением на базе PyTorch и CUDA, а не готовое приложение для телефона или браузера. Документация содержит команды для генерации из изображения и текстового описания; нужные веса загружаются из Hugging Face. Также опубликован потоковый вариант весов.

Исходный код и карточки опубликованных весов указывают лицензию Apache 2.0. Перед использованием в продукте всё равно стоит проверить условия конкретного набора весов, сопутствующих компонентов и данных, которые входят в вашу сборку.

Материалы проекта

• Официальная страница SANA-WM с примерами и описанием проекта.
• Научная статья SANA-WM с описанием метода и результатов тестирования.