Nemotron-4 4B Instruct

Nemotron-4 4B Instruct — компактная языковая модель NVIDIA, представленная 20 августа 2024 года. Её настроили для диалогов с персонажами, дополнения ответов материалами из внешней базы знаний и вызова функций. NVIDIA сообщала, что версия с квантованием INT4 и другими оптимизациями может использовать около 2 ГБ видеопамяти; фактические требования зависят от сборки и среды запуска.

Компактная модель для интерактивных систем

Отдельный сценарий внутри семейства Nemotron-4

Модель была создана для ситуаций, где ответ должен формироваться с небольшой задержкой и следовать заданной роли. NVIDIA показывала её в игровых персонажах, которым нужно понимать инструкции игрока, отвечать в контексте сцены и вызывать функции приложения. Это узкая прикладная настройка, а не уменьшенная универсальная замена крупным моделям семейства.

Как снижены требования к запуску

Дистилляция, прореживание и INT4

В публикации NVIDIA указано, что модель получена дистилляцией от Nemotron-4 15B, а затем оптимизирована прореживанием и квантованием INT4. Компания оценивала потребление видеопамяти примерно в 2 ГБ для описанной конфигурации. Это число нельзя переносить на все форматы весов: точная нагрузка определяется точностью вычислений, длиной контекста и программным стеком.

Версии и дальнейшие модели

Связь с Nemotron-4 и специализированными системами

Крупная модель того же поколения — Nemotron-4 340B, созданная для других задач и более мощной инфраструктуры. В 2025 году NVIDIA представила отдельную линейку рассуждающих моделей Llama Nemotron Nano и Super.

Дата выпуска и первичный источник

Подтверждение NVIDIA

Техническая публикация NVIDIA датирована 20.08.2024; она называет модель Nemotron-4 4B Instruct, описывает дистилляцию от Nemotron-4 15B, оптимизацию до примерно 2 ГБ VRAM, RAG, вызов функций и запуск через NIM на устройстве или в облаке. Официальный материал: NVIDIA.

Сведения о разработчике и его моделях: NVIDIA в Вики Futuretools.ru.