Nemotron 4 340B

Nemotron 4 340B — выпущенное NVIDIA 14 июня 2024 года семейство открытых моделей. В нём представлены Nemotron-4-340B-Base, Instruct и Reward; разработчик также опубликовал конвейер синтеза данных, использованный при настройке моделей.

Три варианта одной серии

Base служит основой для дальнейшей адаптации, Instruct ориентирована на выполнение инструкций, а Reward — на оценивание ответов в процессах обучения и настройки. Это разные роли внутри одного релиза, поэтому карточка описывает семейство, а не выдаёт их за одну и ту же модель. NVIDIA указывает лицензию NVIDIA Open Model License.

Синтетические данные и вычисления

NVIDIA представила семейство в том числе как инструмент для генерации синтетических данных, которыми можно обучать модели меньшего размера. Для формата FP8 разработчик указывает размещение на одной системе DGX H100 с восемью GPU. Это оценка NVIDIA для указанной конфигурации и точности весов.

Другие модели Nemotron

Следующим поколением открытых языковых моделей стал Nemotron 3: сначала NVIDIA выпустила Nano, позднее — Ultra. Отдельно в каталоге есть Nemotron 3.5 Lightning. Сравните Nemotron 3 Nano; Nemotron 3 Ultra; Nemotron 3.5 Lightning

Разработчик и первичный источник

Другие модели компании собраны в разделе «NVIDIA» в Вики Futuretools.ru.

Дата и характеристики сверены с официальным материалом разработчика.