PromptUnit

Маршрутизирует запросы к ИИ-моделям и оптимизирует расходы на их обработку.

Прокси для запросов к ИИ-моделям

PromptUnit классифицирует запросы, сравнивает качество моделей, сжимает промпты и защищает от раздувания числа токенов. Затем система направляет каждый вызов к самой дешёвой модели, которая соответствует заданному уровню качества. Для каждого вызова доступны данные о расходах и использовании.

Оплата и заявленная экономия

Инструмент предназначен также для предотвращения атак на биллинг. PromptUnit заявляет типичную экономию в размере 40–70%, предлагает 14-дневный период наблюдения без риска и взимает 20% от подтверждённой экономии.