Phi-Ground-Any-4B расширяет экранное позиционирование Microsoft за пределы обычных кнопок и ссылок. Публичная карточка модели появилась 7 мая 2026 года. В исследовании команда описывает набор CUActSpot, охватывающий GUI, текст, таблицы, холсты и обычные изображения, а также действия вроде клика, перетаскивания и рисования.

Содержание

Вход и выход
Инструкция превращается в координаты
Более широкий набор действий
Не только элементы веб-страницы
Модель и доступ
4B параметров и опубликованные веса
Контроль ошибок
Координата может не соответствовать намерению
Связанные модели
Другие разработки Microsoft
Первичные источники
Материалы разработчика и официальные карточки моделей

Вход и выход

Инструкция превращается в координаты

Модель принимает изображение и естественно-языковую команду напрямую, без обязательного промежуточного описания целевого элемента. Ответ включает координаты X и Y в нормализованной системе. Приложение должно преобразовать их в пиксели изображения с учётом масштаба и соотношения сторон; сама модель не выполняет действие на компьютере.

Более широкий набор действий

Не только элементы веб-страницы

Microsoft обучала Phi-Ground-Any-4B на синтетических сценах нескольких типов: интерфейсах, текстовых областях, таблицах, холстах и фотографиях. Поэтому тестирование включает не только поиск стандартных элементов управления, но и действия, требующие указать точку на произвольном визуальном объекте. В отчёте сообщается о сравнении с открытыми моделями до 32 млрд параметров.

Модель и доступ

4B параметров и опубликованные веса

Идентификатор открытого checkpoint — microsoft/Phi-Ground-Any; в карточке модели и исследовании она называется Phi-Ground-Any-4B. Опубликованная лицензия — MIT. Для реального управления требуется программный слой, который отправляет скриншот и команду, преобразует координаты и подтверждает результат.

Контроль ошибок

Координата может не соответствовать намерению

Неверная точка может привести к непредусмотренному клику, перетаскиванию или вводу в другое поле. Перед чувствительным действием приложение должно проверять тип цели, ограничивать доступные действия и запрашивать подтверждение. Публикация Microsoft описывает исследовательскую модель и набор оценки, но не сертифицирует её для неконтролируемой автоматизации.

Связанные модели

Другие разработки Microsoft

Phi-Ground · Magma-8B · Fara-7B · Rho-alpha · Microsoft AI в Вики Futuretools

Первичные источники

Материалы разработчика и официальные карточки моделей

исследование Microsoft о Phi-Ground-Any и CUActSpot · официальная карточка Phi-Ground-Any-4B · официальный репозиторий Phi-Ground