Phi-Ground

Phi-Ground — семейство моделей Microsoft Research Asia, которое связывает текстовую инструкцию с точкой на снимке экрана. Первый официальный репозиторий весов появился на Hugging Face 15 августа 2025 года; позднее Microsoft подробно описала модель и результаты в исследовательской публикации. Базовая задача называется GUI grounding: определить, где на экране находится нужная кнопка или другой элемент.

Какую задачу решает

Найти точку для следующего действия

На вход модель получает снимок интерфейса и описание цели; на выходе указывает область или координаты элемента. Например, агент может передать инструкцию «нажми кнопку отправки», получить положение кнопки и затем выполнить клик через отдельный инструмент управления. Phi-Ground отвечает за восприятие интерфейса, но сам не нажимает кнопки и не завершает пользовательский сценарий.

Обучение и оценка

Данные интерфейсов и пять тестовых наборов

Команда Microsoft отфильтровала снимки сайтов из CommonCrawl, добавила открытые наборы и вручную размеченные примеры офисных интерфейсов. В опубликованной оценке Phi-Ground достигла 55% на ScreenSpot-Pro и 36,2% на UI-Vision; Microsoft сравнивала её с моделями сопоставимого размера. Эти метрики показывают качество на бенчмарках, а не точность на любом приложении.

Официальная модель

Checkpoint Phi-Ground-4B-7C

Карточка Microsoft на Hugging Face обозначает основную модель как Phi-Ground-4B-7C. Она оптимизирована для экранных координат и агентов управления интерфейсом. Открытый артефакт можно изучать и адаптировать, но интеграция требует совместимой модели зрения, обработки изображения и исполнителя действий; одного checkpoint недостаточно для автономного безопасного агента.

Ограничения

Мелкие элементы и изменившийся интерфейс

Точность зависит от разрешения изображения, количества визуальных токенов и формулировки инструкции. Изменение масштабирования, локализации или расположения кнопок может повлиять на координаты. Для критических действий агент должен подтверждать целевой элемент и проверять состояние после клика. Phi-Ground следует рассматривать как модуль восприятия, а не как самостоятельное управление компьютером.

Связанные модели

Другие разработки Microsoft

Phi-Ground-Any-4B · Magma-8B · Fara-7B · Phi-4 Reasoning Vision 15B · Microsoft AI в Вики Futuretools

Первичные источники

Материалы разработчика и официальные карточки моделей

описание семейства Phi-Ground от Microsoft Research Asia · официальный репозиторий Phi-Ground · официальная карточка Phi-Ground