CodeGemma 1.1

CodeGemma 1.1 — обновление семейства CodeGemma, опубликованное 3 мая 2024 года. В официальной карточке Google отдельно отражены результаты обновлённых вариантов 2B и 7B instruction-tuned; соответствующие checkpoints называются google/codegemma-1.1-2b и google/codegemma-1.1-7b-it. Версия 1.1 не меняет назначение семейства: это модели для дополнения и генерации кода.

Изменения в тестах Google

Результат зависит от размера и типа задачи

В таблице Google CodeGemma 1.1 улучшила показатель HumanEval для модели 2B с 31,1 до 37,8, а для instruction-tuned 7B — с 56,1 до 60,4. Это значения на конкретном наборе и протоколе, опубликованные разработчиком; они не являются оценкой качества кода в реальном проекте и не позволяют напрямую предсказать число ошибок или затраты команды.

Как различать checkpoints

2B для дополнения и 7B IT для инструкций

Модель google/codegemma-1.1-2b — pretrained-вариант, а google/codegemma-1.1-7b-it — версия, дообученная следовать инструкциям. Не следует добавлять суффикс -it к 2B ID без проверки: в перечне официальных репозиториев для версии 1.1 указаны именно эти имена. Исходные варианты CodeGemma 2B, 7B и 7B IT собраны на странице CodeGemma.

Ограничения при использовании

Проверка изменений остаётся обязательной

Модель предлагает вероятностное продолжение кода, а не формально проверенное решение. До принятия результата необходимо проверить логику, безопасность, лицензии зависимостей и корректность тестов. Для работы с приватным исходным кодом команда должна отдельно выбрать среду размещения и оценить, какие данные уходят внешним сервисам.

Связанные модели и разработчик

Модели семейства Gemma

CodeGemma · Gemma · Gemma 2 · Google DeepMind в Вики Futuretools

Первичные источники

Документы, карточки и журнал релизов Google

документация CodeGemma · карточка CodeGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/codegemma-1.1-2b · https://huggingface.co/google/codegemma-1.1-7b-it