NVIDIA Nemotron-Labs-Diffusion VLM 8B

Nemotron-Labs-Diffusion VLM 8B — мультимодальная версия семейства NVIDIA, принимающая изображения вместе с текстовым запросом. Она использует языковую основу 8B и визуальный кодировщик в стиле Pixtral, а текстовый ответ может формироваться авторегрессионно, диффузионно или через self-speculation. Это отдельный чекпойнт, а не просто экранная оболочка вокруг текстовой модели 8B.

Понимание изображений

Визуальный вход и текстовый ответ

Модель предназначена для мультимодальных запросов, где нужно описать изображение или ответить на вопрос о нём. Карточка NVIDIA указывает визуальный кодировщик из 24 слоёв и поддержку изображений разрешением до 1540 × 1540. Языковые веса совпадают с языковой частью Nemotron-Labs-Diffusion 8B, но визуальный энкодер добавляет обработку изображений и соответствующее представление входа.

Диффузионная генерация текста с изображением

Три режима распространяются на VLM

VLM использует тот же три-режимный языковой механизм, что и текстовая линейка: AR, diffusion и self-speculation. В диффузионном режиме изображение входит в контекст, а ответ генерируется блоками с итеративным уточнением и авторегрессионной проверкой. Такой подход описывает механизм вывода; он не означает, что модель генерирует или редактирует изображение — опубликованный VLM выдаёт текст.

Лицензия и различие с текстовыми моделями

Для VLM действуют отдельные условия

Текстовые версии семейства распространяются под NVIDIA Nemotron Open Model License, а карточка VLM указывает NVIDIA Source Code License (NSCLv1). Их нельзя считать одной лицензией. Для текстовых запросов без визуального входа сравните Nemotron-Labs-Diffusion 8B Instruct; для самой базовой мультимодальной части — 8B Base. Перед использованием проверьте ограничения лицензии и допустимые сценарии.

Связанные модели и разработчик

Семейство Nemotron-Labs Diffusion

NVIDIA Nemotron-Labs-Diffusion 8B Instruct · NVIDIA Nemotron-Labs-Diffusion 8B Base · NVIDIA Nemotron-Labs-Diffusion 14B Instruct · NVIDIA в Вики Futuretools

Публичный выпуск и первичный источник

Карточка модели NVIDIA

Официальная карточка `nvidia/Nemotron-Labs-Diffusion-VLM-8B` указывает 8B vision-language-модель, Pixtral-подобный визуальный кодировщик, поддержку до 1540×1540, три режима декодирования и отдельную NVIDIA Source Code License. Семейство объявлено NVIDIA 23.05.2026. Анонс линейки: NVIDIA: Nemotron-Labs Diffusion. Чекпойнт: Nemotron-Labs-Diffusion-VLM-8B.