NVIDIA Flare — сервер локального ИИ на Rust

NVIDIA Flare — открытый сервер для локального запуска языковых моделей на совместимых ускорителях NVIDIA. Его проектируют для длинных диалогов, работы с агентами программирования и повторных вызовов инструментов. Исходный код опубликован под лицензией Apache 2.0.

Главная особенность Flare — разделение подготовки модели и её обслуживания. Подготовка использует Python-инструменты экосистемы машинного обучения, а запросы после сборки обрабатывает отдельная серверная часть на Rust. Поэтому точнее говорить «без Python во время обслуживания», а не «проект полностью написан на Rust».

Flare рассчитан на GPU поколений SM120 и SM121, включая DGX Spark с ускорителем GB10 и некоторые системы Blackwell. Это не универсальный сервер для любой видеокарты NVIDIA: совместимость зависит и от архитектуры GPU, и от того, есть ли в проекте готовый рецепт нужной модели.

Как устроен запуск модели

Ignition готовит модель заранее

Перед первым запросом компонент Ignition загружает выбранную модель, подбирает вычислительные ядра, компилирует нужные операции и записывает графы CUDA в пакет для запуска. На этом этапе Flare использует Python, PyTorch, Transformers и связанные инструменты. Подготовка может занять время и требует подходящего GPU, но затем не выполняется заново при каждом запросе.

Helios обслуживает запросы на Rust

Подготовленный пакет загружается сервером Flare. Его низкоуровневый механизм Helios на Rust управляет памятью видеокарты, состоянием диалогов и очередью запросов. Сервер предоставляет API для работы с моделями, поэтому к нему можно подключать собственные приложения и совместимые клиентские инструменты. CUDA Graphs воспроизводят заранее подготовленные вычисления, а не компилируют модель заново на каждое сообщение.

Почему проект нацелен на длинные диалоги и ИИ-агентов

Агент часто передаёт модели не только новое сообщение, но и всю историю работы: результаты поиска, файлы, ответы инструментов и предыдущие шаги. Flare проектируют с учётом повторно используемых фрагментов контекста, ветвления диалога и возобновления ранее начатой работы. Планирование буферов и памяти выполняется заранее, чтобы обслуживать эти сценарии в пределах ресурсов конкретной машины.

Кэш контекста и формат FP8

Кэш ключей и значений (KV cache) хранит промежуточные данные о прочитанном контексте, чтобы модели не приходилось заново обрабатывать весь диалог при каждом ответе. В рецептах Flare по умолчанию для хранения страниц этого кэша используется FP8 E4M3. Другие типы состояния — например, рекуррентная память отдельных моделей — сохраняют свой формат, поэтому FP8 не означает, что вся память модели переводится в один формат.

Запуск DeepSeek V4.1 Flash 1017

В репозитории есть отдельный рецепт для DeepSeek V4.1 Flash 1017. Он поддерживает текстовые запросы, режим рассуждений и вызовы инструментов в формате DeepSeek. Обработка изображений доступна, если выбранный чекпойнт содержит визуальный модуль. Для этой модели документация описывает параллельный запуск на трёх или четырёх совместимых GPU.

Это способ обслуживать саму модель локально, а не отдельная версия DeepSeek и не комплект готовых весов от NVIDIA. Flare помогает подготовить и запустить чекпойнт; требования к памяти и числу видеокарт определяются конкретной моделью и выбранной конфигурацией. О самой модели читайте на странице DeepSeek V4.1 Flash.

Несколько DGX Spark в одном кластере

Flare также поддерживает распределённый запуск на нескольких узлах. Документация описывает конфигурации из двух или четырёх DGX Spark: узлы соединяются через высокоскоростную сеть, а компонент Orbit помогает подготовить хосты, разместить процессы и наблюдать за работой группы. Это не настройка «четыре компьютера — одна команда»: требуются совместимые пакеты, сетевое соединение и предварительное сопряжение узлов. Инструкции NVIDIA по подготовке DeepSeek и запуску на нескольких DGX Spark.

Что потребуется для установки

Нужен Linux-компьютер с поддерживаемым GPU, драйвером и CUDA, свободным местом для весов и пакета запуска, а также инструменты сборки Rust и Python-среда для Ignition. Для DeepSeek V4.1 Flash на четырёх GPU общий порядок команд выглядит так:

uv sync --locked --extra prepare --extra test
cargo build --release --manifest-path flare/Cargo.toml
.venv/bin/ignition export deepseek-v4.1-flash --gpus 0,1,2,3
.venv/bin/ignition convert CACHE_ENTRY --form packed --output deepseek-v4.1-flash.safetensors
./flare/target/release/flare run deepseek-v4.1-flash.safetensors --gpus 0,1,2,3

CACHE_ENTRY здесь нужно заменить путём, который Ignition выведет после экспорта. Перед запуском проверьте актуальную инструкцию: параметры меняются вместе с рецептами и форматом пакетов. На DGX Spark системная и графическая память физически общие, поэтому её нужно распределить между моделью, кэшем и самой операционной системой.

Ограничения Flare

NVIDIA называет Flare исследовательским прототипом для совместной разработки и обратной связи. Проект поддерживает только выбранные модели и конфигурации SM120/SM121; его нельзя считать заменой широкого серверного инструментария. Сама NVIDIA отдельно подчёркивает, что Flare не предназначен заменить vLLM в производственных системах: его имеет смысл рассматривать, когда совпадают поддерживаемое оборудование, нужная модель и локальный сценарий использования.

В репозитории не следует воспринимать архитектурные возможности как обещание конкретной скорости. Реальная производительность зависит от GPU, размера модели, числа одновременных запросов и настроек подготовки. CUDA Graphs, предварительное планирование памяти и FP8-кэш — инструменты оптимизации, а не гарантия одинакового ускорения во всех задачах.

Код и документация

Flare опубликован под Apache 2.0. Исходный код, список рецептов и инструкции по установке находятся в репозитории NVIDIA на GitHub. Перед сборкой сверьте поддерживаемые GPU и модельные рецепты с текущей документацией проекта.