PromptUnit
Маршрутизирует запросы к ИИ-моделям и оптимизирует расходы на их обработку.
Прокси для запросов к ИИ-моделям
PromptUnit классифицирует запросы, сравнивает качество моделей, сжимает промпты и защищает от раздувания числа токенов. Затем система направляет каждый вызов к самой дешёвой модели, которая соответствует заданному уровню качества. Для каждого вызова доступны данные о расходах и использовании.
Оплата и заявленная экономия
Инструмент предназначен также для предотвращения атак на биллинг. PromptUnit заявляет типичную экономию в размере 40–70%, предлагает 14-дневный период наблюдения без риска и взимает 20% от подтверждённой экономии.