Perceptron Mk1.5

Perceptron Mk1.5 — мультимодальная модель для агентов, которые воспринимают видео, звук и изображения и управляют действиями в физической среде.

Perceptron Mk1.5 создана для агентов, которым нужно воспринимать окружающий мир и управлять действиями, а не только отвечать в чате. Модель принимает текст, изображения, видео и аудио. В ответ она может выдавать текст, точки, рамки объектов, полигоны и временные траектории, которые можно передать в управляющую систему.

Понимание движения и сцены

Одна из новых функций Mk1.5 — отслеживание объекта между кадрами видео. Это полезно, например, для наблюдения за перемещением предмета на складе или за участником спортивной сцены. Модель также поддерживает аудиоанализ и может использовать инструменты, описанные разработчиком в формате JSON Schema.

От модели к физическому агенту

Perceptron показывает Mk1.5 в сценариях с дронами, роботами, умными очками и мобильными устройствами. Модель может определить, какой объект или область важны, а затем выбрать следующий вызов инструмента. Реальные действия выполняет подключённая система управления; сама языковая модель не заменяет контроллер и не гарантирует безопасность оборудования.

Доступ и применение

Модель представлена 25 сентября 2026 года и доступна через платформу Perceptron и SDK. Для неё указано мультимодальное окно контекста 32 тысячи токенов. Mk1.5 ориентирована на разработчиков робототехники, систем видеонаблюдения, устройств и приложений, которым важно понимать последовательность событий в аудио или видео.

Связь с разработчиком

В отличие от локального набора весов, Mk1.5 предлагается как модель платформы Perceptron. Подробности о возможностях и демонстрациях приведены в официальном анонсе. Об организации и её моделях для физического ИИ — в статье Perceptron.