Mistral Nemo 12B

Mistral Nemo 12B — открытая модель, которую Mistral AI и NVIDIA выпустили 18 июля 2024 года. Она содержит 12 млрд параметров, поддерживает контекст до 128 тысяч токенов и распространяется под Apache 2.0. Разработчики опубликовали базовые и инструкционно настроенные веса, включая версию для инференса FP8.

Многоязычный ввод

Токенизатор Tekken для текста и кода

Mistral Nemo использует Tekken — токенизатор, обученный более чем на ста языках. Компания сообщала о более эффективном сжатии исходного кода и нескольких языков по сравнению с прежним SentencePiece; русскому также уделено отдельное внимание. Это заявление разработчика о длине токенизированного текста, а не оценка точности перевода или генерации.

Контекст и запуск

12B, 128K и Apache 2.0

Модель сочетает контекст до 128K с опубликованными весами и стандартной архитектурой, что облегчает интеграцию в инфраструктуру для Mistral 7B. На обучении разработчик уделял внимание диалогу, следованию инструкциям и вызову функций. Для исполнения внешних команд требуется программная оболочка, которая предоставляет модели инструменты.

Место в портфеле

Мультимодальная ветка Pixtral и новые Ministral

На базе Mistral Nemo построен визуальный декодер Pixtral 12B. Для периферийного запуска рядом появились Ministral 3B и Ministral 8B. Более новые поколения Mistral Small описаны на страницах Small 3.0 и Small 4.

Дата выпуска и источник

Что подтверждают материалы разработчика

Анонс Mistral от 18.07.2024 подтверждает 12B, 128K, Apache 2.0, сотрудничество с NVIDIA и Tekken; отдельные base/instruct/FP8 файлы объединены, поскольку это форматы одного выпуска. Первичный источник: официальная публикация или карточка Mistral AI.

Сведения о разработчике и его моделях: Mistral AI в Вики Futuretools.ru.