rightmodeler
CLI-инструмент сравнивает более дешёвые ИИ-модели с принятыми результатами по существующим трассам агентов.
Проверка альтернативных моделей
rightmodeler — инструмент командной строки (CLI), который повторно запускает существующие трассы агентов на более дешёвых моделях-кандидатах и сравнивает их результаты с ранее принятыми. Он автоматически распознаёт десять форматов трасс, включая форматы LangSmith, OpenAI SDK, Langfuse и Braintrust, и приводит данные к единой схеме с результатами по каждому шагу.
Оценка и поставка замен
Для каждой модели оцениваются совпадение результатов, экономия средств, качество подтверждений и воздержания от ответа. Одобренные замены оформляются как pull request с приложенными доказательствами, так что миграция модели проходит через стандартную процедуру проверки кода.