Magma-8B
Magma-8B — мультимодальная модель Microsoft для понимания интерфейсов и управления действиями в цифровой и физической среде.
Microsoft Research объявила Magma 25 февраля 2025 года как мультимодальную основу для агентов, которым нужно не только описывать изображение, но и выбирать действие. Открытые веса опубликованы под лицензией MIT; официальный checkpoint называется microsoft/Magma-8B.
- Модель для действий
- Изображение, видео и текст на входе
- Обучение и разметка
- Set-of-Mark и Trace-of-Mark
- Где применять
- Исследования компьютерного управления и робототехники
- Ограничения
- Модель предлагает действия, но не гарантирует их безопасность
- Связанные модели
- Другие разработки Microsoft
- Первичные источники
- Материалы разработчика и официальные карточки моделей
Модель для действий
Изображение, видео и текст на входе
Magma объединяет зрительное восприятие и языковую инструкцию, после чего может выдать описание, пространственную разметку или предложение действия. Microsoft демонстрировала её для навигации по графическим интерфейсам, понимания видео и роботизированных манипуляций. Это исследовательская основа, а не готовый агент с браузером или сертифицированная система управления роботом.
Обучение и разметка
Set-of-Mark и Trace-of-Mark
В обучении применяются отметки объектов и элементов интерфейса: Set-of-Mark помогает выделить, на что обратить внимание, а Trace-of-Mark переносит разметку на движение объектов в видео. Модель учится связывать цель, визуальные элементы и последовательность действий. Такой подход позволяет переносить знания между разными средами, но точность всё равно зависит от изображения и сценария.
Где применять
Исследования компьютерного управления и робототехники
Magma может служить отправной точкой для экспериментов с UI-агентами, планированием визуальных действий и манипуляцией предметами после целевого дообучения. Microsoft публикует код и веса, однако в карточке модели указывает исследовательское назначение. Для работы с реальными устройствами необходимы ограничения опасных действий, испытания и независимый контур управления.
Ограничения
Модель предлагает действия, но не гарантирует их безопасность
Веса содержат примерно 8 млрд параметров; языковая часть преимущественно обучена на английском. Ответы могут быть неверными или предвзятыми, а геометрические координаты — неточными. MIT-лицензия позволяет адаптацию, но не подтверждает пригодность модели для производственной робототехники или автоматизации пользовательских действий без дополнительной проверки.
Связанные модели
Другие разработки Microsoft
Phi-Ground · Phi-Ground-Any-4B · Rho-alpha · Fara-7B · Microsoft AI в Вики Futuretools
Первичные источники
Материалы разработчика и официальные карточки моделей
анонс Magma от Microsoft Research · официальная карточка весов microsoft/Magma-8B · исследовательская статья Magma