CodeGemma
CodeGemma — открытые модели Google для дополнения, генерации и обсуждения кода: pretrained-варианты 2B и 7B и instruction-tuned модель 7B.
CodeGemma — семейство открытых моделей Google для задач программирования, выпущенное 9 апреля 2024 года. В первой версии представлены pretrained-модели 2B и 7B, а также instruction-tuned вариант 7B для диалога о коде и выполнения текстовых инструкций. Модельные репозитории Google: google/codegemma-2b, google/codegemma-7b и google/codegemma-7b-it.
- Дополнение кода и работа с контекстом
- Заполнение пропусков между частями программы
- Размеры и данные обучения
- Локальная модель 2B и варианты 7B
- Практическое применение
- Модель подключается к среде разработки через отдельное приложение
- Связанные модели и разработчик
- Модели семейства Gemma
- Первичные источники
- Документы, карточки и журнал релизов Google
Дополнение кода и работа с контекстом
Заполнение пропусков между частями программы
Pretrained-сборки обучены, в частности, на формате fill-in-the-middle: модель получает фрагмент до курсора и, при наличии, после него, затем предлагает код для промежутка. Это позволяет использовать CodeGemma для продолжения функций и блоков, а не только для генерации файла с нуля. Instruction-tuned 7B принимает обычные запросы на естественном языке и может отвечать кодом или пояснением.
Размеры и данные обучения
Локальная модель 2B и варианты 7B
Google описывает 2B как более компактный вариант для быстрого дополнения кода, а 7B — как более крупную основу для генерации и общения о программировании. В первоначальном анонсе компания указала около 500 млрд токенов преимущественно англоязычных веб-данных, математики и кода. Эти сведения описывают обучение, но не гарантируют качество во всех языках программирования, репозиториях или закрытых кодовых базах.
Практическое применение
Модель подключается к среде разработки через отдельное приложение
CodeGemma — не IDE и не самостоятельное расширение редактора. Чтобы встроить её в разработку, нужно подключить checkpoint к инструменту, настроить контекст проекта и проверить предлагаемые изменения. Код модели может содержать ошибки, уязвимости или неподходящие зависимости; его следует ревьюить и тестировать как обычный вклад разработчика. Для обновлённой версии смотрите CodeGemma 1.1.
Связанные модели и разработчик
Модели семейства Gemma
CodeGemma 1.1 · Gemma · Gemma 2 · FunctionGemma · Google DeepMind в Вики Futuretools
Первичные источники
Документы, карточки и журнал релизов Google
анонс CodeGemma и RecurrentGemma · документация CodeGemma · карточка CodeGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/codegemma-2b · https://huggingface.co/google/codegemma-7b · https://huggingface.co/google/codegemma-7b-it