Code Llama

Code Llama — семейство моделей Meta, дообученных на коде поверх Llama 2 и представленных 24 августа 2023 года. Модели умеют генерировать код и объяснения по текстовому запросу, дополнять фрагменты и помогать с отладкой. В первоначальный выпуск вошли варианты на 7, 13 и 34 млрд параметров, а 29 января 2024 года Meta выпустила дополнительный размер 70B.

Три варианта настройки

Базовая модель, Python и Instruct

Для каждого размера Meta подготовила базовую Code Llama, специализированный вариант Code Llama-Python и инструкционную версию Code Llama-Instruct. Это три направления настройки, а не три отдельные последовательные генерации. Варианты Instruct предназначены для запросов обычным языком, а Python — для сценариев, где важна специализация на этом языке программирования.

Дополнение и заполнение кода

Контекст до 16 тысяч токенов в обучении

В технических материалах для первоначальной линейки указана длина обучающих последовательностей 16K; для части вариантов поддерживается заполнение пропусков в коде по контексту до и после фрагмента. Meta отмечала, что модели могут работать с более длинными входами, вплоть до 100K, но это не означает одинаковую точность на любой длине или конфигурации запуска.

Размер 70B и связь с Llama

Январское расширение семейства

29.01.2024 Meta добавила версии Code Llama 70B: базовую, Python и Instruct. Их обучали на большем объёме кода; компания публиковала результаты собственных тестов отдельно от независимых оценок. Базовая линейка построена на Llama 2, а актуальные универсальные поколения представлены страницами Llama 3 и её продолжений.

Дата выпуска и источник

Что подтверждают материалы разработчика

Первичный анонс Meta датирован 24.08.2023; в той же публикации есть обновление от 29.01.2024 о выпуске 70B. Компания описывает три настройки (Base, Python и Instruct), размеры 7B/13B/34B и отдельный размер 70B. Первичный источник: официальная публикация или карточка Meta.

Сведения о разработчике и его моделях: Meta в Вики Futuretools.ru.