CodeGemma

CodeGemma — семейство открытых моделей Google для задач программирования, выпущенное 9 апреля 2024 года. В первой версии представлены pretrained-модели 2B и 7B, а также instruction-tuned вариант 7B для диалога о коде и выполнения текстовых инструкций. Модельные репозитории Google: google/codegemma-2b, google/codegemma-7b и google/codegemma-7b-it.

Дополнение кода и работа с контекстом

Заполнение пропусков между частями программы

Pretrained-сборки обучены, в частности, на формате fill-in-the-middle: модель получает фрагмент до курсора и, при наличии, после него, затем предлагает код для промежутка. Это позволяет использовать CodeGemma для продолжения функций и блоков, а не только для генерации файла с нуля. Instruction-tuned 7B принимает обычные запросы на естественном языке и может отвечать кодом или пояснением.

Размеры и данные обучения

Локальная модель 2B и варианты 7B

Google описывает 2B как более компактный вариант для быстрого дополнения кода, а 7B — как более крупную основу для генерации и общения о программировании. В первоначальном анонсе компания указала около 500 млрд токенов преимущественно англоязычных веб-данных, математики и кода. Эти сведения описывают обучение, но не гарантируют качество во всех языках программирования, репозиториях или закрытых кодовых базах.

Практическое применение

Модель подключается к среде разработки через отдельное приложение

CodeGemma — не IDE и не самостоятельное расширение редактора. Чтобы встроить её в разработку, нужно подключить checkpoint к инструменту, настроить контекст проекта и проверить предлагаемые изменения. Код модели может содержать ошибки, уязвимости или неподходящие зависимости; его следует ревьюить и тестировать как обычный вклад разработчика. Для обновлённой версии смотрите CodeGemma 1.1.

Связанные модели и разработчик

Модели семейства Gemma

CodeGemma 1.1 · Gemma · Gemma 2 · FunctionGemma · Google DeepMind в Вики Futuretools

Первичные источники

Документы, карточки и журнал релизов Google

анонс CodeGemma и RecurrentGemma · документация CodeGemma · карточка CodeGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/codegemma-2b · https://huggingface.co/google/codegemma-7b · https://huggingface.co/google/codegemma-7b-it