Harness² — фреймворк Google Research для улучшения ИИ-агентов

Harness² — исследовательский фреймворк, который помогает ИИ-агенту менять способ работы под конкретную задачу. Языковую модель при этом не дообучают: система перестраивает окружающую её среду — инструкции, правила, память и набор инструментов.

Что такое среда ИИ-агента

Сама языковая модель отвечает на запросы, но агенту нужно больше: понять задачу, пользоваться браузером или терминалом, помнить важные детали и проверять промежуточную работу. Всё это задаётся внешней средой, или harness: системными инструкциями, инструментами, файлами памяти, навыками, подагентами и логикой их взаимодействия.

Harness² автоматизирует настройку этой среды. Если агенту предстоит, например, исследовать документы или выполнить многоэтапную рабочую задачу, фреймворк ищет, какие изменения в его рабочем процессе помогут именно здесь. Основная модель остаётся прежней; меняются инструкции и компоненты вокруг неё.

Как работает Propose–Probe–Compose

Сначала система наблюдает за исходной работой

Агент выполняет задачу с исходной конфигурацией. Этот запуск становится точкой сравнения: по нему можно увидеть, какие действия агент предпринял, где столкнулся с затруднением и какой результат получил. Сам по себе запуск не показывает, был ли ответ правильным.

Затем проверяются два варианта улучшения

Harness² предлагает два изменения среды. Первое нацелено на общие проблемы — например, планирование, работу с инструментами или управление контекстом. Второе учитывает область конкретной задачи: её процедуры, ограничения и характерные знания. Оба варианта запускаются на той же задаче при сопоставимых настройках.

Изменения сохраняются только при наблюдаемом эффекте

Система сравнивает ход работы и полученные материалы с исходным запуском. Если новая инструкция помогла агенту заметить пропущенный шаг, корректнее вызвать инструмент или избежать регрессии, это служит основанием сохранить изменение. Затем Harness² собирает итоговую конфигурацию и снова запускает задачу.

Методу не требуется заранее известный эталонный ответ или отдельная программа-проверяющий, чтобы направлять правки. Но поведенческое сравнение не доказывает правильность результата: оно показывает, что изменение повлияло на работу агента. Авторы отдельно отмечают, что случайность выполнения и общие ошибки модели ограничивают надёжность такого свидетельства.

Опыт не пропадает после одной задачи

После выполнения система может сохранить выбранные компоненты среды и выводы о том, в каких условиях они оказались полезны. Эта библиотека помогает предлагать изменения для следующих задач. При этом новая задача начинается с общей исходной конфигурации: предыдущая среда не переносится целиком автоматически, а подходящие элементы и уроки нужно заново обосновать.

В Harness² предусмотрены последовательный и параллельный режимы поиска. В первом агент уточняет конфигурацию шаг за шагом; во втором рассматривает несколько вариантов. Увеличение бюджета может дать больше кандидатов и повторных проверок, но требует дополнительных запусков.

Какие части среды можно менять

Фреймворк разбивает конфигурацию на восемь редактируемых компонентов:

• системный запрос и ограничения поведения;
• память и инструкции по работе с инструментами;
• подагенты и навыки;
• скрипты и программные расширения.

Такой подход пригодится командам, которые сравнивают разные рабочие процессы на одних и тех же моделях. В опубликованном проекте предусмотрены исполнители OpenCode и Codex; о самих инструментах можно прочитать на страницах OpenCode и Codex от OpenAI.

Что показали эксперименты

Авторы проверили систему на трёх профессиональных тестах: WorkBuddy-Bench для офисных, веб- и кодовых задач, JobBench для продолжительных рабочих заданий и Legal Agent Benchmark (LAB) для юридической работы. Исполнителями были GLM-5 и Gemini 3.5 Flash в сочетании с OpenCode и Codex. В экспериментальной конфигурации среду редактировала отдельная модель Claude Opus 4.8, поэтому результаты показывают работу всей связки, а не способность одного исполнителя самостоятельно улучшать себя.

• На WorkBuddy-Bench оценка GLM-5 с OpenCode выросла с 64,2 до 75,7 — на 11,5 пункта.
• На JobBench наибольший прирост составил 4,5 пункта для Gemini 3.5 Flash с OpenCode.
• В LAB доля пройденных критериев для GLM-5 с OpenCode увеличилась на 11,8 процентного пункта.

В исследовании сообщается, что один шаг улучшил все четыре сочетания модели и среды на каждом из трёх тестов. На WorkBuddy-Bench GLM-5 после настройки также превзошла исходную Gemini 3.5 Flash в одном из сравнений. Это результат конкретного теста, а не универсальный вывод о превосходстве одной модели над другой. Основные результаты усреднены по трём запускам; они не гарантируют такой же эффект на произвольных задачах.

Цена дополнительных запусков и ограничения

При бюджете k=1 одна итерация включает исходное выполнение, два пробных варианта и запуск итоговой конфигурации — примерно четыре выполнения самой задачи. К ним добавляются обращения к модели, которая предлагает и собирает правки, а также расходы на внешнюю модель и инфраструктуру. Поэтому выигрыш в качестве нужно сравнивать с дополнительными временем и стоимостью.

Есть и практический вопрос безопасности. В README авторы предупреждают, что сетевой доступ исполнителей не ограничен, а Codex по умолчанию запускается без песочницы. Перед работой с закрытыми проектами и тестами с доступными в интернете критериями стоит настроить изоляцию и сетевые ограничения, чтобы агент не отправил данные наружу и не получил доступ к ответам теста.

Исходный код Harness² опубликован под лицензией Apache-2.0. Проект предназначен для Linux; для локальной демонстрации не нужны учётные данные модели, а полноценные модельные запуски требуют настройки соответствующего API и могут тарифицироваться отдельно. Разработчики также уточняют, что это исследовательский проект, а не официально поддерживаемый продукт Google.

Где изучить Harness²

Код и инструкции доступны в репозитории Harness², а метод и результаты описаны в научной статье. Редакционный разбор идеи и экспериментов — в «Журнале FutureTools».