Llama 3.1 8B — компактная открытая языковая модель Meta

Meta выпустила Llama 3.1 8B 23 июля 2024 года. Это компактный вариант семейства Llama 3.1: версия с настройкой Instruct предназначена для диалога и выполнения пользовательских инструкций, а исходные веса доступны для самостоятельного развёртывания и адаптации. Разработчик — Meta AI в Вики Futuretools.

Возможности и особенности

Вариант на 8 млрд параметров рассчитан на команды, которым важно запускать модель на менее мощном оборудовании и контролировать размещение данных. Он поддерживает длинный контекст до 128 тысяч токенов, многоязычные сценарии и вызов инструментов в совместимых системах. Фактическая скорость зависит от формата весов, квантования и памяти устройства.

Где модель может быть полезна

Модель может подойти для прототипирования локального помощника, суммаризации, обработки запросов и простых агентных сценариев. Наличие открытых весов не означает, что запуск не требует ресурсов: даже компактная версия нуждается в подходящей памяти и совместимом движке.

Связанные версии

Обзор семейства: Llama 3.1. Для более крупного варианта смотрите Llama 3.1 70B.

Подробности о выпуске и технических характеристиках приведены в официальной документации разработчика.