Google ускорила Gemma 4 E2B почти в три раза с помощью Gemini 4 Argon

Google применила Gemini 4 Argon для оптимизации работы другой своей модели — Gemma 4 E2B. В эксперименте на ускорителе NVIDIA A100 с движком vLLM пропускная способность выросла примерно с 37 900 до более чем 108 000 токенов в секунду, сообщает компания. Ускорение всей процедуры обработки запросов составило 2,85 раза.

По словам Google, работа заняла несколько дней, хотя сопоставимые оптимизации обычно требуют месяцев. Компания приводит пример как одну из инженерных задач, в которых использовала Argon при запуске модели.

Что именно ускорили

Модель Gemma и движок vLLM

Gemma 4 — семейство открытых моделей Google, а vLLM — программный движок, который помогает запускать языковые модели и обслуживать запросы к ним. В этом случае речь идёт о конкретной версии gemma-4-E2B-it и работе на NVIDIA A100.

Google описывает изменения от настройки механизма внимания до спекулятивного декодирования. Последний подход позволяет сначала предложить несколько возможных продолжений ответа, а затем проверить их основной моделью. Если уменьшить затраты на такие операции, сервер может обрабатывать больше работы за то же время.

Сохранились ли ответы модели

Google заявляет о 100% совпадении токенов и отсутствии снижения качества в своём сравнении. Это означает, что при описанных компанией проверках ускоренная конфигурация сохранила результат исходной. Компания не приводит в кратком анонсе полный набор условий проверки, поэтому переносить этот вывод на все задачи и настройки было бы преждевременно.

Что означают 108 тысяч токенов в секунду

Цифра относится к пропускной способности измеренной конфигурации, а не к обещанной скорости одного пользовательского диалога. Результат на другом оборудовании или при ином количестве запросов, длине контекста и настройках может отличаться. Google не раскрыла в анонсе полный профиль нагрузки и параметры замера.

Где посмотреть изменения

Компания направляет разработчиков к списку изменений в репозитории vLLM. Среди предложений есть оптимизации обработки внимания и спекулятивного декодирования. На момент подготовки новости часть запросов на изменение кода ещё открыта: наличие предложения на GitHub само по себе не означает, что оно уже включено в выпущенную версию vLLM.

Об эксперименте Google рассказала в анонсе Gemini 4 Argon. Там же компания описывает другие задачи, для которых применяла модель, включая работу над кодом Chrome и инструментами для ИИ-агентов.