Контроль работы приложений с языковыми моделями
Acrux Core — платформа LLM-ops с открытым исходным кодом для инженерных команд. Она располагается между приложением и провайдерами моделей и объединяет управление промптами, запросами и оценкой.
Промпты и шлюз запросов
Платформа поддерживает версионирование промптов и совместимый с OpenAI шлюз. Команды могут менять промпты и переключать производственные алиасы без повторного развёртывания приложения.
Трассировка и оценка
Каждый вызов языковой модели записывается автоматически с деталями на уровне отдельных сегментов: модель, число токенов, задержка и стоимость. Также доступны каталоги инструментов и конвейеры оценки.
Интерфейсы и самостоятельное размещение
Acrux Core поставляется с SDK для TypeScript и Python, а также REST API. Платформу можно полностью разместить самостоятельно; она распространяется по лицензии Elastic License 2.0.
