RecurrentGemma 9B
RecurrentGemma 9B — вариант открытой языковой модели Google с 9 млрд параметров, опубликованный 11 июня 2024 года в базовой и instruction-tuned версиях.
RecurrentGemma 9B — вариант семейства RecurrentGemma на 9 млрд параметров, выпущенный 11 июня 2024 года. Модель использует архитектуру Griffin, сочетает рекуррентную обработку с локальным вниманием и предназначена для текстовой генерации. Google опубликовала pretrained- и instruction-tuned версии: google/recurrentgemma-9b и google/recurrentgemma-9b-it.
- Что даёт размер 9B
- Больше параметров — выше вычислительные требования
- Базовая модель и версия для инструкций
- Checkpoint выбирают по способу интеграции
- Где использовать и что проверить
- Суммаризация и генерация требуют контроля
- Связанные модели и разработчик
- Модели семейства Gemma
- Первичные источники
- Документы, карточки и журнал релизов Google
Что даёт размер 9B
Больше параметров — выше вычислительные требования
Карточка Google показывает результаты RecurrentGemma 9B рядом с вариантом 2B на наборах MMLU, HellaSwag, PIQA, HumanEval и других тестах. Увеличенный размер требует больше памяти и вычислений, поэтому решение между 2B и 9B следует принимать на целевом оборудовании. Архитектура Griffin снижает потребность в памяти при длинной генерации относительно обычного трансформера, однако не устраняет требования к ресурсам.
Базовая модель и версия для инструкций
Checkpoint выбирают по способу интеграции
Pretrained-версия подходит для дальнейшей адаптации и генерации по обучающему формату. Вариант с суффиксом -it instruction-tuned и ориентирован на ответы на естественно-языковые запросы. Обе версии обучались прежде всего на английском языке; русскоязычные сценарии требуют отдельной оценки.
Где использовать и что проверить
Суммаризация и генерация требуют контроля
RecurrentGemma может служить основой для суммаризации, ответов и других текстовых задач, но Google не позиционирует её как подключённую услугу. Команде нужно самостоятельно разместить модель, определить обработку ошибок, провести оценку фактической точности и принять меры против вредных или устаревших ответов. Для компактного варианта смотрите RecurrentGemma 2B.
Связанные модели и разработчик
Модели семейства Gemma
RecurrentGemma · Gemma · Gemma 2 · Google DeepMind в Вики Futuretools
Первичные источники
Документы, карточки и журнал релизов Google
документация RecurrentGemma · карточка RecurrentGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/recurrentgemma-9b · https://huggingface.co/google/recurrentgemma-9b-it