Адаптивная маршрутизация запросов к моделям

OrcaRouter — шлюз и слой маршрутизации между приложением и более чем 200 моделями. Для оценки запросов используются эмбеддинги и онлайн-обучение методом контекстных бандитов. Система выбирает модель с учётом возможностей, задержки, стоимости и заданных политик.

Подключение и настройка маршрутов

Платформа предоставляет единую конечную точку, совместимую с OpenAI, программируемые правила маршрутизации и DSL. Для управления также доступны защитные ограничения и межсетевой экран для агентных систем.

Наблюдение и отказоустойчивость

OrcaRouter включает инструменты наблюдения за работой и резервные цепочки маршрутов. Для платформы доступна версия Lite с открытым исходным кодом.