NeMo Switchyard — маршрутизация запросов между ИИ-моделями
NeMo Switchyard — открытая библиотека NVIDIA для маршрутизации запросов между моделями и провайдерами с учётом качества, скорости и стоимости.
NeMo Switchyard — открытая библиотека NVIDIA для маршрутизации запросов между языковыми моделями и API-провайдерами. Она помогает встроить выбор модели в агентное приложение: разные шаги можно отправлять к разным системам с учётом их возможностей, цены и скорости. NVIDIA представила Switchyard 11 августа 2026 года вместе с моделью Nemotron 3.5 Lightning.
Зачем агенту маршрутизатор моделей
Один агент может выполнять задачи разной сложности. Для простого шага часто достаточно более быстрой и дешёвой модели, а для сложного анализа требуется более способная. Switchyard отделяет правила выбора модели от самой логики приложения, чтобы разработчик мог менять маршруты и провайдеров без переписывания агента.
Способы выбора
В проекте описаны готовые маршрутизаторы без дообучения: классификатор, который выбирает модель по запросу, маршрутизатор этапов, учитывающий ход работы агента, и схема повышения уровня — переход к более мощной модели, когда ситуация этого требует. Есть и настраиваемые маршрутизаторы, которые используют данные конкретной рабочей нагрузки.
Интеграция и наблюдаемость
Switchyard позволяет приложениям обращаться к моделям и провайдерам через совместимые интерфейсы. Сервис может записывать выбранную модель, основание решения, расход токенов, задержку и результат вызова. Это помогает проверять, почему запрос направили именно по этому маршруту и как он повлиял на расходы.
Где применяется
Библиотека предназначена для разработчиков агентных систем и инфраструктуры ИИ-продуктов. NVIDIA приводит примеры экономии на собственных и партнёрских испытаниях; фактический результат зависит от сравниваемых моделей и заданных правил маршрутизации. Switchyard не является базовой языковой моделью и не заменяет сами модели, например Nemotron 3.5 Lightning.
Лицензия и документация
Исходный код опубликован NVIDIA NeMo на GitHub под лицензией Apache 2.0. В проекте есть библиотека, серверные компоненты и примеры. О других разработках компании — в статье NVIDIA и модели Nemotron.