Oqoqo

Проверка ИИ-агентов на пользовательских задачах

Oqoqo позволяет создавать собственные оценки и закрытые бенчмарки для агентных задач из реальных сценариев. Эксперименты выполняются в управляемой облачной инфраструктуре. Каждая задача изолирована в собственной песочнице с необходимыми агенту файлами, инструментами и учётными данными.

Сравнение и разбор результатов

На одних и тех же задачах можно сравнивать нескольких агентов, модели и варианты обработки. Для проверки доступны подробные пошаговые траектории с вызовами инструментов, ошибками и точками отказа.

Показатели экспериментов

Платформа выявляет неэффективные траты токенов и затруднения при взаимодействии с интерфейсом, а также показывает изменение доли успешно выполненных задач между итерациями.