DeepInfer — открытый движок для запуска моделей DeepSeek в кластере
DeepInfer — система исполнения моделей DeepSeek для ускорителей и крупных вычислительных кластеров. Возможности, требования и ограничения открытого релиза.
DeepInfer — разработанная DeepSeek система исполнения ИИ-моделей, которую компания использует для обслуживания запросов в своих сервисах. Теперь исходный код доступен разработчикам по лицензии Apache 2.0. Первая открытая версия ориентирована на DeepSeek V4.1 Flash и работу на ускорителях в серверных кластерах.
Инференс — это запуск уже обученной модели: система принимает запрос, распределяет вычисления между ускорителями и возвращает ответ. Когда одним сервисом одновременно пользуются многие люди, на скорость влияют не только веса модели, но и обмен данными между GPU, порядок обработки запросов, повторное использование контекста и нагрузка на память. DeepInfer нацелен на оптимизацию именно этой инфраструктурной части.
Что входит в DeepInfer
В движок включены специализированные вычислительные ядра и среда исполнения модели. DeepSeek перечисляет среди компонентов FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и собственные ядра на TileLang. Вместе они отвечают за быстрые операции с матрицами, передачу данных и вычисления, необходимые модели. Команда отмечает, что DeepInfer изначально строился преимущественно на основе vLLM, также используя идеи SGLang и TensorRT-LLM: это специализированная система, развивающая известные решения под модели и инфраструктуру DeepSeek.
Распределённые вычисления
DeepInfer умеет распределять работу модели между ускорителями. Для архитектуры Mixture of Experts предусмотрено распределение экспертов и выравнивание их загрузки; для механизма внимания доступны параллельная обработка и сбалансированное разбиение контекста. Это особенно важно для больших моделей: их вычисления и память могут быть распределены по нескольким ускорителям.
Ускорение генерации и управление пакетами запросов
DeepInfer поддерживает DSpark и проверку черновых токенов по оценке уверенности. Такой подход позволяет модели проверять несколько предполагаемых продолжений за раз и при подходящих условиях сокращать время генерации. Асинхронный планировщик перекрывает подготовку новых пакетов запросов с уже выполняющимися вычислениями.
Также заявлены пакетно-инвариантный режим и воспроизводимая генерация с фиксированным начальным значением. Эти возможности помогают получать стабильные результаты независимо от того, какие другие запросы одновременно попали в пакет; в README отдельно отмечено, что режимы воспроизводимости доступны только для NVIDIA.
Ограничение формата ответа
При необходимости разработчик может задать допустимую структуру ответа: например, схему JSON, регулярное выражение или грамматику EBNF. Это полезно, когда результат модели должен без дополнительной ручной обработки поступить в программу или сервис.
Совместимое оборудование и требования
В текущем README указана поддержка ускорителей NVIDIA SM100 и Huawei Ascend 950. Для сборки нужны Linux, GCC версии 13 или выше и Python 3.12. Для NVIDIA требуется CUDA 13, для Ascend — CANN 9.2. Это специализированный серверный стек: проект рассчитан на команды, которые развёртывают модели на подходящей инфраструктуре, а не на обычный домашний компьютер.
Открытая версия указывает одну поддерживаемую модель — DeepSeek V4.1 Flash; по умолчанию примеры используют контрольную точку DeepSeek-V4.1-Flash-1017. Поддержка других моделей должна появиться только после соответствующего обновления проекта.
Что пока не включено в релиз
DeepInfer не следует воспринимать как готовую универсальную платформу, которую достаточно установить, чтобы сразу открыть публичный API. В README перечислены компоненты полного сервиса, которых в релизе нет: система хранения KV-кэша, разделение этапов обработки изображения, предварительной обработки запроса и генерации, а также балансировка запросов между репликами с параллельной обработкой данных. Для полноценного сервиса эти части потребуется предоставить отдельно.
В сопровождающем руководстве по развёртыванию DeepSeek описывает общую архитектуру своей инфраструктуры. Компания сообщает, что один кластер сейчас обслуживает 155 трлн токенов в сутки; это заявленный DeepSeek показатель, а не результат независимого воспроизведения опубликованных конфигураций.
Связанный компонент для API
Вместе с DeepInfer DeepSeek развивает deepseek-recipe — отдельную библиотеку на Rust с привязками для Python. Она преобразует запросы форматов Messages, Chat Completions и Responses в представление, понятное моделям DeepSeek, и оформляет ответы обратно. Сама библиотека не запускает модель, не выполняет инструменты и не предоставляет HTTP-сервер.
Кому подойдёт DeepInfer
DeepInfer будет интересен инженерам по машинному обучению и командам, которые обслуживают DeepSeek V4.1 Flash на ускорителях NVIDIA или Huawei и хотят изучить или адаптировать движок, рассчитанный на работу в масштабе кластера. Для экспериментов на обычном ПК или быстрого развёртывания общего API-сервера открытый релиз пока не предназначен: кроме требований к оборудованию, для полного сервиса нужно самостоятельно закрыть недостающие инфраструктурные компоненты.