← Назад в каталог

NVIDIA Nemotron 3.5 Bolt E4B — локальная модель для помощников и роботов

Nemotron 3.5 Bolt E4B — локальная модель NVIDIA для помощников и роботов: 64K контекст, вызов инструментов и запуск на Jetson Orin Nano 8GB.

NVIDIA Nemotron 3.5 Bolt E4B 4GB — компактная языковая модель для локальных голосовых помощников, интерактивных персонажей и устройств с управлением через ИИ. Она ведёт многошаговый диалог, вызывает инструменты и может работать на компактных системах NVIDIA, включая Jetson Orin Nano.

Страница модели: NVIDIA Nemotron 3.5 Bolt E4B на сайте NVIDIA

Это отдельная, значительно более компактная версия семейства Nemotron Bolt. Для более тяжёлых локальных задач у NVIDIA есть Nemotron 3.5 Bolt 74B-A9B.

Содержание
  1. Что означает E4B 4GB
  2. 4B — активные параметры, а не полный размер модели
  3. Диалог, рассуждения и вызов инструментов
  4. Для голосовых помощников и интерактивных персонажей
  5. Как работает демонстрация с Reachy Mini
  6. Языковая модель и зрение выполняют разные задачи
  7. Запуск на Jetson и требования к памяти
  8. Показатели NVIDIA для Jetson Orin Nano 8GB
  9. Результаты бенчмарков — по данным NVIDIA
  10. Где взять и как запустить
  11. Локальная работа и инструменты разработки
  12. Лицензия и технические материалы
  13. Проверьте условия до коммерческого внедрения

Что означает E4B 4GB

4B — активные параметры, а не полный размер модели

Модель построена на архитектуре Gemma 4 E4B и дополнительно обучена NVIDIA. В карточке модели указано 8 млрд параметров суммарно и 4 млрд эффективных параметров. Упрощённо: при генерации каждого фрагмента текста задействуется меньшая часть полного набора весов.

Обозначение «4GB» в названии также не означает, что файл для загрузки весит ровно 4 ГБ. Квантованный файл Q4_K_M на Hugging Face занимает около 6,18 ГБ. NVIDIA отдельно указывает ориентир около 4 ГБ для рабочей памяти в определённых сценариях и приводит замеры использования видеопамяти на конкретном оборудовании.

Диалог, рассуждения и вызов инструментов

Для голосовых помощников и интерактивных персонажей

Bolt E4B умеет поддерживать многоходовый разговор, вызывать функции и API приложения, соблюдать инструкции и использовать результаты предыдущих действий. Режим диалога помогает получать более короткие ответы, удобные для озвучивания. Режим рассуждений можно включать для сложных запросов или отключать ради более быстрой реакции.

Модель принимает и выдаёт текст. Контекст — до 64 тысяч токенов: в него можно поместить историю разговора, описание инструментов, правила поведения персонажа и текущее состояние приложения. NVIDIA заявляет поддержку 35 языков.

Как работает демонстрация с Reachy Mini

Языковая модель и зрение выполняют разные задачи

В показанной NVIDIA демонстрации робот Reachy Mini разговаривает и двигается: Bolt E4B ведёт диалог и вызывает сценарии движений, а визуальную обстановку анализирует отдельная модель NVIDIA Cosmos 3 Edge. Обе модели запускаются локально на Jetson Orin Nano с 8 ГБ памяти.

Это не означает, что сам Bolt E4B понимает изображения или видео: его официальный модельный профиль описывает текстовый ввод и текстовый вывод. В системе с камерой зрительную часть нужно поручить отдельной модели, а Bolt передавать её результаты.

Запуск на Jetson и требования к памяти

Показатели NVIDIA для Jetson Orin Nano 8GB

В замере NVIDIA модель Q4_K_M запускалась через llama.cpp на Jetson Orin Nano с 8 ГБ памяти. При 3 тысячах входных токенов и ответе до 50 токенов расход видеопамяти составил 4,2 ГБ, скорость генерации — 15,5 токена в секунду, а первый токен появлялся примерно через 5,8 секунды.

В более длинном сценарии — 32 тысячи токенов кэша, 2 тысячи новых входных и до 256 выходных — NVIDIA указывает 4,9 ГБ видеопамяти, 13 токенов в секунду и около 6,3 секунды до первого токена. Это результаты разработчика для конкретных настроек, а не гарантия скорости на любом устройстве; помимо видеопамяти системе нужна память для операционной системы и других процессов.

Результаты бенчмарков — по данным NVIDIA

NVIDIA сообщает примерно о 40% более высоком среднем результате, чем у её предыдущей Nemotron Nano 4B, и примерно о 10% преимуществе над другими сравниваемыми моделями на выбранных тестах. В отдельных проверках Bolt E4B получает 68,5% на BFCL-v3 для вызова инструментов, 68,8% на ToolSandbox и 53,1 балла на MultiChallenge для последовательности диалога. Это оценки NVIDIA: результат зависит от тестового набора, режима рассуждений и конфигурации запуска.

По заявлению компании, в сравнениях с включённым рассуждением модель может выдавать до 80% меньше токенов, чем сопоставляемые решения. Короткий ответ может снизить вычислительную нагрузку и задержку, но не означает одинаковое качество на любой задаче.

Где взять и как запустить

Локальная работа и инструменты разработки

Веса доступны на Hugging Face. NVIDIA также указывает поддержку Ollama, LM Studio, Unsloth, Jetson AI Lab и ряда инструментов для локального запуска. Например, официальный профиль Hugging Face приводит команду для Ollama:

ollama run hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_M

Модель можно использовать как самостоятельного помощника или подключить к приложению, которое умеет вызывать локальные API. Для ускорения генерации NVIDIA выпускает отдельный черновой модуль DFlash: он предлагает варианты продолжения, которые основная модель проверяет. DFlash — дополнительная загрузка, а не часть файла Q4_K_M.

Лицензия и технические материалы

Проверьте условия до коммерческого внедрения

Карточка NVIDIA указывает для весов лицензию OpenMDW 1.1 и допускает коммерческое и некоммерческое использование. Перед включением модели в продукт проверьте полный текст лицензии и условия используемых инструментов.