NVIDIA Nemotron 3.5 Bolt 74B-A9B — локальная модель для ИИ-агентов

NVIDIA Nemotron 3.5 Bolt 74B-A9B — модель для локальных ИИ-агентов: она может принимать текст, изображения и видео, а также вызывать инструменты. В её названии 74B означает общее число параметров, а A9B — сколько параметров активируется при обработке каждого фрагмента. Модель относится к архитектуре Mixture of Experts: для очередного шага выбирается часть специализированных блоков, хотя хранить в памяти нужно весь набор весов.

Главная особенность Bolt — не просто размер, а специальная версия, ужатая до бюджета около 24 ГБ. Она создана для запуска на локальных системах NVIDIA, включая DGX Spark и подходящие RTX-компьютеры, чтобы поручать агенту задачи вроде поиска в интернете, написания и отладки кода без обязательной отправки самого запроса в облачный ИИ-сервис.

Как модель на 74 млрд параметров помещается в 24 ГБ

Сжатие исходной Nemotron 3.5 Super VL

Bolt получена из более крупной Nemotron 3.5 Super VL. NVIDIA применила метод Star Elastic, который перестраивает состав экспертов и ширину их слоёв, а затем дополнительное обучение помогает вернуть часть возможностей после сокращения модели. В результате получилось 74 млрд параметров всего и 9 млрд активных на шаг.

Низкая разрядность — компромисс ради локального запуска

Чтобы уложиться в заявленный бюджет, большая часть весов получила квантование примерно до двух бит на значение; некоторые другие части модели хранятся с более высокой точностью. Это позволяет значительно сократить объём, но сравнивать Bolt с несжатой моделью только по числу параметров некорректно: на качество влияют и квантование, и настройки запуска.

Указанные 24 ГБ относятся к конкретной сжатой сборке, а не к любому файлу весов Nemotron и не к гарантии, что модель вместе с любым контекстом запустится на видеокарте с 24 ГБ. Среда исполнения, размер диалога и параллельные запросы тоже занимают память.

Что умеет Nemotron 3.5 Bolt

Работа с текстом, изображениями и видео

Модель принимает текст, изображения и видеоролики и возвращает текстовые ответы. В карточке NVIDIA указана длина контекста до 256 тысяч токенов. Это верхний предел модели; доступный объём на практике зависит от сборки и аппаратной конфигурации. Аудиовход в этой версии не заявлен.

Задачи для агентных систем

Bolt рассчитана на многошаговую работу с инструментами: агент может анализировать материалы, выполнять команды, искать информацию и помогать с программированием. Поддержка вызова инструментов позволяет подключать её к оболочкам агентов, однако реальные действия определяются подключённой программой и её правами, а не одной моделью.

Что показывают опубликованные тесты

NVIDIA сообщила о результате около 84 токенов в секунду в тесте AIPerf SPEED-Bench-Coding для конфигурации RTX Spark со спекулятивным декодированием LiLiCorr. Компания также указывает высокие результаты в PinchBench, WebArena и BrowseComp среди моделей с сопоставимым бюджетом памяти. Это тесты и оценки NVIDIA на определённых конфигурациях: скорость и качество на другом компьютере или с другой версией программы могут отличаться.

Запуск и совместимость

Сборки GGUF и программные оболочки

Веса доступны в формате GGUF от Unsloth, а также в официальном репозитории NVIDIA. Для запуска NVIDIA указывает совместимость с llama.cpp, Ollama, LM Studio, Unsloth и vLLM. Конкретная сборка, доступные режимы работы с изображениями и требования к видеопамяти зависят от выбранной программы.

Скачать сборку GGUF и файлы модели можно на Hugging Face. Подробные инструкции доступны в руководстве Unsloth и техническом описании NVIDIA.

Открытые веса и условия использования

Веса распространяются по лицензии OpenMDW 1.1. Это открытая для загрузки модель, но перед коммерческим использованием стоит ознакомиться с условиями лицензии и убедиться, что они подходят для вашего продукта.

Для сравнения с более крупной мультимодальной версией смотрите страницу Nemotron 3.5 Super VL. В каталоге также есть Nemotron 3.5 Lightning, Nemotron 3 Super и страница NVIDIA в Вики Futuretools.