Llama 3.1

Llama 3.1 — семейство открытых по весам языковых моделей Meta, выпущенное 23 июля 2024 года. В него вошли версии на 8, 70 и 405 млрд параметров. Для всего семейства разработчик заявил окно контекста до 128 тысяч токенов и поддержку восьми языков. Llama 3.1 развивает диалог, программирование, перевод и работу с подключёнными инструментами; версия 405B рассчитана на наиболее сложные задачи и требует особенно мощной инфраструктуры.

Чем отличаются версии

Варианты 8B и 70B обновили по сравнению с предыдущим поколением, а 405B стала крупнейшей моделью Llama на момент релиза. Чем больше параметров, тем выше требования к памяти и вычислениям, поэтому размер нужно выбирать под оборудование и нагрузку, а не только по результатам тестов. Meta также описала применение 405B как учительской модели для создания синтетических данных и обучения более компактных систем.

Работа с инструментами и собственная инфраструктура

Llama 3.1 не является готовым помощником с автоматическим доступом к программам: вызовы функций, поиск и другие действия организует приложение, в которое встроена модель. Meta опубликовала компоненты Llama Stack, а также отдельные средства защиты Guard 3 и Prompt Guard. Веса можно запускать в облаке, на собственных серверах или локально, если хватает ресурсов; данные при локальной обработке не нужно отправлять Meta.

Лицензия и место в линейке

Веса доступны для загрузки, но распространяются по лицензии сообщества Llama с условиями использования. Перед включением модели в коммерческий продукт проверьте актуальный текст лицензии. Следующими поколениями стали мультимодальная Llama 3.2 и текстовая Llama 3.3; позже Meta представила Llama 4 Scout и Llama 4 Maverick.

Сведения о разработчике и его моделях: Meta в Вики Futuretools.ru.

Официальный источник: материал разработчика.

Предыдущая модель в этой линейке — Llama 3.