Llama 3.2 3B — локальная модель Meta для текста и вызова инструментов

Llama 3.2 3B — текстовая модель Meta для локального и периферийного запуска. Компания выпустила её 25 сентября 2024 года вместе с версией 1B и мультимодальными моделями Llama 3.2 11B и 90B. Версия 3B рассчитана на более широкий круг текстовых задач при умеренных требованиях к ресурсам. Разработчик — Meta AI в Вики Futuretools.

Возможности и особенности

Модель обучена следовать инструкциям и поддерживает длинный контекст до 128 тысяч токенов. Meta приводит среди сценариев краткое изложение, переписывание текста, диалог и вызов инструментов. Llama 3.2 3B получена с использованием pruning и distillation на основе более крупной Llama 3.1 8B; это помогло уменьшить размер, сохранив часть возможностей старшей модели.

Где модель может быть полезна

По сравнению с 1B-версией модель располагает большим бюджетом для обработки неоднозначных запросов и многошаговых инструкций, но требует больше памяти и вычислений. Для генерации ответов с доступом к инструментам нужны внешняя оболочка и явные разрешения: сама языковая модель не выполняет команды самостоятельно.

Связанные версии

Обзор семейства: Llama 3.2. Более лёгкий вариант — Llama 3.2 1B.

Подробности о выпуске и технических характеристиках приведены в официальной документации разработчика.