RecurrentGemma

RecurrentGemma — открытая языковая модель Google, впервые выпущенная 9 апреля 2024 года. Первая версия имеет 2 млрд параметров и построена на архитектуре Griffin, сочетающей рекуррентные механизмы с локальным вниманием. Доступны pretrained- и instruction-tuned checkpoints: google/recurrentgemma-2b и google/recurrentgemma-2b-it. Позже семейство получило вариант 9B, который описан отдельно.

Зачем в модели рекуррентная архитектура

Память и скорость на длинном тексте

В Google отмечают, что RecurrentGemma требует меньше памяти, чем сопоставимая Gemma, и может быстрее генерировать длинные последовательности. Архитектура ориентирована также на более высокую пропускную способность при пакетной генерации. Фактическая разница зависит от длины запроса, оборудования, реализации и размера пакета — её следует измерять в целевом окружении.

Подходящие задачи

Текстовая генерация, ответы и суммаризация

Карточка разработчика перечисляет ответы на вопросы, суммаризацию и рассуждения среди общих задач генерации текста. Модельные карты и benchmark-таблицы дают результаты для английских текстовых наборов; это не подтверждает сопоставимый уровень русского языка. Для русскоязычного приложения сначала проверьте типовые обращения пользователей и устойчивость на длинном контексте.

Ограничения и выбор версии

Универсальная пригодность не следует из скорости

Экономия памяти не означает, что RecurrentGemma превосходит обычную Gemma во всех сценариях. Это языковая модель, а не готовый чат или поисковая система; для приложения требуются интерфейс, контроль доступа и проверка ответов. Если требуется больший размер, сравните RecurrentGemma 9B с исходной конфигурацией на одинаковой задаче.

Связанные модели и разработчик

Модели семейства Gemma

RecurrentGemma 9B · Gemma · Gemma 2 · FunctionGemma · Google DeepMind в Вики Futuretools

Первичные источники

Документы, карточки и журнал релизов Google

анонс CodeGemma и RecurrentGemma · документация RecurrentGemma · карточка RecurrentGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/recurrentgemma-2b · https://huggingface.co/google/recurrentgemma-2b-it