DiffusionGemma-Jev (djev) — Jev-совместимая модель на Cloud Run
djev запускает DiffusionGemma с форматом структурированных решений и совместимой с Jev конечной точкой. Проект djev-run упрощает развертывание на Google Cloud Run с GPU.
DiffusionGemma-Jev, или djev, — экспериментальная реализация структурированных решений поверх DiffusionGemma. Она превращает вывод диффузионной модели в формат вопросов с ограниченными ответами, похожий по интерфейсу на System One API. Это отдельная реализация: djev не является моделью Jev от TypeSafe AI и не использует ее веса.
Репозиторий djev-run содержит контейнер и настройки для развертывания сервера на Google Cloud Run. Такой вариант позволяет обращаться к модели по сети, не покупая и не обслуживая собственный графический ускоритель.
Как устроен djev
Структурированный ответ вместо свободного текста
Запрос содержит состояние и вопросы с заранее описанными форматами ответа. Сервер использует возможности DiffusionGemma, чтобы оценить заданные варианты и вернуть вероятности. В README проекта описан совместимый интерфейс System One для такого обмена данными; конкретный клиент и его возможности нужно сверять с текущей версией репозитория.
Совместимость API означает, что запросы можно строить в близкой схеме, но сама по себе она не гарантирует одинакового качества, скорости или поведения с Jev. Перед заменой модели в рабочем процессе стоит сравнить ответы на собственном наборе примеров.
Развертывание на Google Cloud Run
Что потребуется подготовить
Cloud Run запускает контейнер в Google Cloud на GPU NVIDIA RTX PRO 6000 Blackwell. В опубликованной конфигурации указаны 20 виртуальных процессоров и 80 ГБ оперативной памяти. Перед развертыванием необходимо настроить проект и квоты Google Cloud, выбрать поддерживаемый регион и подготовить файлы модели в Cloud Storage. После этого готовый контейнер можно развернуть командой gcloud из инструкции.
Поэтому формулировка «одна команда» относится к запуску подготовленной конфигурации, а не ко всему первоначальному подключению облачного проекта, загрузке весов и настройке доступа.
Что означают показатели скорости и стоимости
В README djev-run приводится пропускная способность около 100–123 запросов в секунду при параллельной обработке с concurrency=32. В анонсе проекта также указывается задержка примерно 35–60 мс для одного шага. Это длительность шага диффузионного процесса, а не полное время от отправки запроса до получения ответа: итог зависит от числа шагов, размера запроса, очереди и сетевой задержки.
Для указанной конфигурации сообщается стоимость около 3,19 доллара за час активной работы; при минимуме экземпляров, равном нулю, GPU-инстанс выключается в простое. Это не означает, что любые связанные расходы на хранение файлов или сетевой трафик всегда равны нулю: итоговую сумму нужно проверять в тарифах Google Cloud и биллинге проекта.
Когда рассматривать этот вариант
Прототипы и проверка решений на собственных данных
djev-run может быть удобен для экспериментов с агентами, автоматической маршрутизацией и выбором действий, когда нужен удаленный GPU, но не хочется содержать постоянно работающий сервер. Для постоянной нагрузки следует отдельно оценить холодный запуск, стоимость активного GPU и качество ответов на целевом наборе запросов.
Если нужен оригинальный сервис TypeSafe AI, смотрите страницу Jev. С открытыми моделями Cloudflare, использующими совместимый формат, знакомьтесь в статьях Clef и Clef-Flash. Базовая модель Google описана на странице DiffusionGemma; локальный порт для компьютеров Apple представлен в статье Laya-MLX.
Первоисточник: репозиторий djev-run и инструкция по Cloud Run; реализация djev.