Mathstral 7B

Mathstral 7B — модель Mistral AI для математических задач, выпущенная 16 июля 2024 года в сотрудничестве с Project Numina. Она основана на Mistral 7B и дообучена для STEM-сценариев с многошаговым рассуждением. Компания сообщила 56,6% на тесте MATH и 63,47% на MMLU; это внутренние результаты Mistral на названных наборах.

Математические и научные задачи

От вычисления к последовательности обоснованных шагов

Модель создавалась для задач, где недостаточно краткого фактического ответа: требуется преобразовать условие, выбрать математический подход и пройти несколько этапов решения. Mistral связывала выпуск с Project Numina и научным использованием. Это специализация модели, а не гарантия безошибочного решения произвольных задач.

Результаты и вычислительный режим

Оценки разработчика на MATH и MMLU

Mistral указывала 56,6% на MATH и 63,47% на MMLU. При увеличении числа вариантов и голосовании большинство улучшало показатель MATH до 68,37%; в публикации также приведена оценка с reward model. Результат зависит от вычислительного бюджета и протокола, поэтому значения нельзя напрямую сравнивать без одинаковой методики.

Связь с базовой моделью

Mistral 7B и открытые веса

Mathstral развивает идеи Mistral 7B 0.3, но имеет отдельные обучающие данные и STEM-направленность. Mistral разместила веса и рекомендовала запуск через mistral-inference. Для программирования по-прежнему предназначена другая специализированная модель — Codestral Mamba 7B.

Дата выпуска и источник

Что подтверждают материалы разработчика

Анонс Mistral от 16.07.2024 подтверждает связь с Project Numina, ориентир на математику и опубликованные разработчиком оценки 56,6% MATH/63,47% MMLU. Первичный источник: официальная публикация или карточка Mistral AI.

Сведения о разработчике и его моделях: Mistral AI в Вики Futuretools.ru.