UI-TARS 1.5

ByteDance объявила об открытом выпуске модели UI-TARS-1.5 (UI-TARS 1.5) 17 апреля 2025 года. Это мультимодальная модель-агент: она воспринимает изображение интерфейса, интерпретирует задачу и выдаёт действия для взаимодействия с компьютером, браузером или мобильной системой. В отличие от обычного чат-бота, её назначение — выполнять последовательности действий в визуальной среде.

Управление графическим интерфейсом

Экран становится входом для модели

UI-TARS 1.5 может распознавать элементы интерфейса и связывать текстовую цель с действиями мышью и клавиатурой. В качестве примеров ByteDance приводит сбор сведений из электронной почты с заполнением формы, переименование файла по содержимому изображения и загрузку сжатого файла из браузера. Такой агент должен работать в тестовой среде с ограниченными правами, поскольку ошибка шага может изменить данные или отправить форму.

Рассуждение перед действием

Планирование длинной цепочки шагов

Разработчик сообщает, что версия 1.5 улучшена обучением с подкреплением и может строить рассуждение перед действием. В тестах на GUI и играх оценивались последовательности вплоть до тысячи взаимодействий. Это демонстрирует исследовательские возможности модели, но не означает надёжное выполнение тысячи шагов в произвольном рабочем интерфейсе.

Открытые материалы

Репозиторий и проектный сайт

ByteDance опубликовала код и модельные материалы в официальном репозитории UI-TARS, а также исследовательское описание. Развёртывание требует совместимой модели, агента-исполнителя и подключения к среде интерфейса. Перед применением важно проверить лицензию текущей версии, требования к оборудованию и разрешения, предоставленные агенту.

Ограничения автоматизации

Критические действия требуют подтверждения

Выполнение визуальной инструкции зависит от разрешения экрана, состояния окна, языка интерфейса и качества распознавания. Независимо от результатов тестов, платежи, отправку сообщений, удаление файлов и другие необратимые операции следует подтверждать отдельно. UI-TARS также не позиционируется разработчиком как система для глубокого веб-исследования.

Связанные модели и разработчик

Другие публикации команды ByteDance Seed

Seed1.5-VL · Seed1.6 Thinking · Seed1.8 · Seed 2.0 · ByteDance Seed в Вики Futuretools

Первичные источники

Анонсы, карточки и репозитории разработчика

анонс открытой модели UI-TARS 1.5 · официальный репозиторий UI-TARS · официальный сайт UI-TARS · https://arxiv.org/abs/2501.12326