Nemotron 4 340B
Открытое семейство NVIDIA Nemotron 4 340B включает базовую, инструкционную и оценочную модели для генерации синтетических данных и исследований.
Nemotron 4 340B — выпущенное NVIDIA 14 июня 2024 года семейство открытых моделей. В нём представлены Nemotron-4-340B-Base, Instruct и Reward; разработчик также опубликовал конвейер синтеза данных, использованный при настройке моделей.
Три варианта одной серии
Base служит основой для дальнейшей адаптации, Instruct ориентирована на выполнение инструкций, а Reward — на оценивание ответов в процессах обучения и настройки. Это разные роли внутри одного релиза, поэтому карточка описывает семейство, а не выдаёт их за одну и ту же модель. NVIDIA указывает лицензию NVIDIA Open Model License.
Синтетические данные и вычисления
NVIDIA представила семейство в том числе как инструмент для генерации синтетических данных, которыми можно обучать модели меньшего размера. Для формата FP8 разработчик указывает размещение на одной системе DGX H100 с восемью GPU. Это оценка NVIDIA для указанной конфигурации и точности весов.
Другие модели Nemotron
Следующим поколением открытых языковых моделей стал Nemotron 3: сначала NVIDIA выпустила Nano, позднее — Ultra. Отдельно в каталоге есть Nemotron 3.5 Lightning. Сравните Nemotron 3 Nano; Nemotron 3 Ultra; Nemotron 3.5 Lightning
Разработчик и первичный источник
Другие модели компании собраны в разделе «NVIDIA» в Вики Futuretools.ru.
Дата и характеристики сверены с официальным материалом разработчика.