LLaMA

LLaMA (Large Language Model Meta AI) — первое семейство языковых моделей Meta, публично представленное 24 февраля 2023 года. Компания выпустила веса четырёх размеров — 7, 13, 33 и 65 млрд параметров — для научного исследования и разработки. В отличие от позднейшей Llama 2, доступ к исходному семейству предоставлялся исследователям по заявке, а не как свободная загрузка для любого пользователя.

Четыре размера одной линейки

От 7B до 65B параметров

Модель обучалась как базовая языковая система для продолжения текста и исследовательских экспериментов. Набор размеров позволял сравнивать качество и вычислительные требования при разном числе параметров. Меньшая модель требовала меньше ресурсов для запуска, а варианты 33B и 65B давали исследователям возможность изучать масштабирование языковых моделей.

Условия первого выпуска

Исследовательский доступ по заявке

Meta сообщала о публичном исследовательском выпуске, однако распространение весов контролировалось: исследователь должен был запросить доступ и согласиться с условиями использования. Поэтому LLaMA не следует описывать как открытую модель с безусловной коммерческой лицензией. Именно более широкий доступ для компаний и разработчиков стал одним из отличий следующего поколения.

Как развивалось семейство

Переход к Llama 2 и последующим версиям

18 июля 2023 года вышла Llama 2 с отдельной лицензией для исследовательского и коммерческого использования. Затем появились Llama 3, Llama 3.1 и следующие поколения. Каждая из этих версий имеет собственные опубликованные веса и самостоятельную страницу.

Дата выпуска и источник

Что подтверждают материалы разработчика

Анонс Meta датирован 24.02.2023 и называет семейство LLaMA исследовательским выпуском; публикация описывает четыре размера — 7B, 13B, 33B и 65B. Доступ к весам предоставлялся после заявки. Первичный источник: официальная публикация или карточка Meta.

Сведения о разработчике и его моделях: Meta в Вики Futuretools.ru.