Magma-8B

Microsoft Research объявила Magma 25 февраля 2025 года как мультимодальную основу для агентов, которым нужно не только описывать изображение, но и выбирать действие. Открытые веса опубликованы под лицензией MIT; официальный checkpoint называется microsoft/Magma-8B.

Модель для действий

Изображение, видео и текст на входе

Magma объединяет зрительное восприятие и языковую инструкцию, после чего может выдать описание, пространственную разметку или предложение действия. Microsoft демонстрировала её для навигации по графическим интерфейсам, понимания видео и роботизированных манипуляций. Это исследовательская основа, а не готовый агент с браузером или сертифицированная система управления роботом.

Обучение и разметка

Set-of-Mark и Trace-of-Mark

В обучении применяются отметки объектов и элементов интерфейса: Set-of-Mark помогает выделить, на что обратить внимание, а Trace-of-Mark переносит разметку на движение объектов в видео. Модель учится связывать цель, визуальные элементы и последовательность действий. Такой подход позволяет переносить знания между разными средами, но точность всё равно зависит от изображения и сценария.

Где применять

Исследования компьютерного управления и робототехники

Magma может служить отправной точкой для экспериментов с UI-агентами, планированием визуальных действий и манипуляцией предметами после целевого дообучения. Microsoft публикует код и веса, однако в карточке модели указывает исследовательское назначение. Для работы с реальными устройствами необходимы ограничения опасных действий, испытания и независимый контур управления.

Ограничения

Модель предлагает действия, но не гарантирует их безопасность

Веса содержат примерно 8 млрд параметров; языковая часть преимущественно обучена на английском. Ответы могут быть неверными или предвзятыми, а геометрические координаты — неточными. MIT-лицензия позволяет адаптацию, но не подтверждает пригодность модели для производственной робототехники или автоматизации пользовательских действий без дополнительной проверки.

Связанные модели

Другие разработки Microsoft

Phi-Ground · Phi-Ground-Any-4B · Rho-alpha · Fara-7B · Microsoft AI в Вики Futuretools

Первичные источники

Материалы разработчика и официальные карточки моделей

анонс Magma от Microsoft Research · официальная карточка весов microsoft/Magma-8B · исследовательская статья Magma