Llama 4: новая эра мультимодальных и многоязычных моделей
Представлено новое поколение языковых моделей Llama 4, включающее три версии: Scout, Maverick и Behemoth (в превью). Основные особенности включают продвинутые возможности решения задач, поддержку длинного контекста до 10 миллионов токенов и мультимодальность по конкурентной стоимости.
Ключевые характеристики Llama 4
- Архитектура Mixture of Experts (MoE)
- Поддержка длинного контекста до 10M токенов
- Мультимодальные возможности
- Превосходная производительность при низкой стоимости
Доступные версии модели
Llama 4 Scout
17B активных параметров с 16 экспертами. Модель оптимизирована для работы на одном GPU H100, что делает ее удобной для развертывания.
Llama 4 Maverick
17B активных параметров с 128 экспертами. По заявлениям компании, эта мультимодальная модель превосходит GPT-4o и Gemini 2.0 Flash в нескольких тестах. Важно отметить, что Maverick демонстрирует результаты, сравнимые с DeepSeek v3 в областях логики и программирования, используя при этом вдвое меньше активных параметров.
Llama 4 Behemoth
Находится в стадии превью. Детали о модели пока не раскрываются.
Преимущества для разработчиков
Поддержка длинного контекста открывает новые возможности для создания интеллектуальных агентов. Мультимодальность (включая grounding изображений) делает Llama 4 Maverick особенно привлекательной для разработчиков, работающих с разными типами данных.
SМодели уже доступны для загрузки на официальном сайте llama.com и платформе Hugging Face.
