Codestral Mamba 7B

Codestral Mamba 7B — специализированная модель программирования Mistral AI, выпущенная 16 июля 2024 года. В отличие от моделей Transformer, она использует архитектуру Mamba и содержит около 7,3 млрд параметров. Разработчик опубликовал веса под Apache 2.0 и проверял поиск по длинному контексту до 256 тысяч токенов.

Архитектура Mamba

Линейная зависимость вычислений от длины последовательности

Mistral объясняла, что модели Mamba предназначены для обработки последовательностей с линейным ростом вычислений. Это теоретическое преимущество архитектуры и исследовательская мотивация релиза; оно не означает, что каждый запуск получает бесконечно длинный контекст. В анонсе компания сообщала о тесте in-context retrieval до 256K токенов.

Помощь при программировании

Инструкционная модель для локального запуска

Codestral Mamba обучена на коде и ориентирована на подсказки и продолжение программных фрагментов. Веса можно было загрузить и запускать через mistral-inference; Mistral также называла поддержку TensorRT-LLM. Эти интеграции требуют совместимого программного окружения и оборудования.

Сравнение с Codestral

Два независимых подхода к кодовым задачам

Классическую Transformer-модель описывает страница Codestral 24.05; более поздние её версии — 25.01 и 25.08. Codestral Mamba была самостоятельным выпуском с иным устройством, а не очередной версией Codestral 22B. Официальный каталог позднее отметил API-вариант как retired.

Дата выпуска и источник

Что подтверждают материалы разработчика

Официальная публикация от 16.07.2024 подтверждает 7,285,403,648 параметров, Apache 2.0 и тест retrieval до 256K; API карточка указывает retirement 06.06.2025. Первичный источник: официальная публикация или карточка Mistral AI.

Сведения о разработчике и его моделях: Mistral AI в Вики Futuretools.ru.