Mixtral 8x22B

Mixtral 8x22B — открытая модель Mistral AI с разреженной архитектурой смеси экспертов, выпущенная 17 апреля 2024 года. В ней 141 млрд параметров, но при генерации одного токена активируются 39 млрд. Разработчик указал контекст 64 тысячи токенов, Apache 2.0 и поддержку функции вызова инструментов.

Разреженная архитектура

141 млрд параметров и 39 млрд активных

Общая ёмкость модели задаётся 141 млрд параметров, а вычисления на каждом шаге используют ограниченную часть экспертных блоков. Это повышает требование к памяти для хранения весов, хотя вычислительная нагрузка на токен определяется активными экспертами. Mistral подчёркивала такую разницу в официальной публикации.

Контекст и назначение

64K для крупных документов и кода

Окно 64K позволяет включать в запрос длинные материалы и больше контекста проекта. В официальном анонсе Mistral отдельно отмечает английский, французский, итальянский, немецкий и испанский языки, математические и кодовые задачи, а также нативный вызов функций. Эти возможности не превращают модель в автономного агента: приложения и доступ к инструментам задаются внешней системой.

Линейка Mixtral

Меньший вариант 8x7B

Предшествующая модель семейства — Mixtral 8x7B с 47B общих и 13B активных параметров. Оба выпуска относятся к самостоятельным именованным версиям Mixtral. Для новых общих сценариев Mistral указывает более поздние модели, включая Mistral Large 3.

Дата выпуска и источник

Что подтверждают материалы разработчика

Анонс Mistral от 17.04.2024 подтверждает 141B/39B, контекст 64K, Apache 2.0, мультиязычность и нативный function calling; API-модель впоследствии была retired 30.03.2025. Первичный источник: официальная публикация или карточка Mistral AI.

Сведения о разработчике и его моделях: Mistral AI в Вики Futuretools.ru.