Llama 3

Llama 3 — третье поколение базовых языковых моделей Meta, представленное 18 апреля 2024 года. В первый выпуск вошли модели на 8 и 70 млрд параметров, каждая — в предварительно обученном и инструкционно настроенном варианте. Meta улучшила токенизатор и добавила групповое внимание в 8B-модель; компания также описывала обновления безопасности семейства.

Модели 8B и 70B

Предварительное обучение и Instruct

Базовые веса предназначены для дальнейшей настройки и встраивания в прикладные системы. Instruct-версии дообучены для ответов на естественно-языковые инструкции и диалога. В официальной документации для этой версии указано контекстное окно 8K. Meta распространяла модели на условиях собственной лицензии Llama 3, а не по стандартной открытой лицензии.

Токенизатор и защитные средства

Изменения в модели и в системе вокруг неё

Meta сообщила об увеличении эффективности токенизатора: в её оценке он использовал до 15% меньше токенов по сравнению с Llama 2 для одних и тех же материалов. В день анонса также были представлены обновление Llama Guard 2 и фильтр Code Shield. Это отдельные компоненты безопасности, а не встроенная гарантия того, что любой ответ модели будет безопасным.

Дальнейшие версии

Llama 3.1, 3.2 и 3.3

В июле 2024 года вышла Llama 3.1 с новыми размерами и контекстом 128K. В сентябре появилась Llama 3.2, включающая компактные текстовые и мультимодальные варианты; в декабре Meta выпустила Llama 3.3 70B. Для программирования на базе Llama 2 существует отдельная линейка Code Llama.

Дата выпуска и источник

Что подтверждают материалы разработчика

Анонс Meta от 18.04.2024 подтверждает выпуск 8B и 70B в pretrained- и instruction-tuned вариантах. Компания приводит 8K контекста и заявленное улучшение эффективности токенизатора относительно Llama 2. Первичный источник: официальная публикация или карточка Meta.

Сведения о разработчике и его моделях: Meta в Вики Futuretools.ru.

Предыдущая модель в этой линейке — Llama 2.