MiniCPM-V 4.7

MiniCPM-V 4.7 — семейство открытых мультимодальных моделей OpenBMB для работы с изображениями, видео и документами. Модели могут описать кадр, прочитать надписи, разобрать PDF и ответить на вопрос по визуальному содержимому. В линейке две версии: компактная 1B и более крупная 35B-A3B, которую разработчики отдельно оптимизировали для запуска на телефонах и других устройствах.

Это не облачный чат с готовой учетной записью, а модели для самостоятельного запуска или встраивания в приложение. Веса распространяются по лицензии Apache 2.0.

Две версии для разных задач

MiniCPM-V 4.7 1B

Компактная версия рассчитана на приложения, где важны небольшие требования к вычислительным ресурсам. Она работает с отдельными и несколькими изображениями, видео и текстом. Её можно использовать для распознавания надписей, разбора документов и вопросов по изображению. OpenBMB также подготовила варианты GGUF, AWQ и GPTQ, а также сборку int4 — такие форматы позволяют уменьшить размер весов и требования к памяти, хотя итоговое качество и скорость зависят от конкретной версии и устройства.

MiniCPM-V 4.7 35B-A3B

Это более крупная модель на архитектуре смеси экспертов, или MoE. В названии 35B обозначает общий масштаб модели, а A3B — примерно три миллиарда параметров, участвующих в обработке каждого токена. Это не означает, что весь файл модели занимает всего 3 ГБ: веса всех экспертов всё равно нужно хранить, а объём скачивания зависит от формата и квантования.

Главная особенность версии — возможность запускать такую крупную модель на ограниченном по памяти устройстве, подгружая нужные веса по мере работы. OpenBMB сообщает о скорости более 17 токенов в секунду на iPad Pro с M4 и 16 ГБ памяти и более 13 токенов в секунду на iPhone 17 Pro Max; для этой конфигурации разработчики указывают около 3 ГБ пиковой памяти. Это результаты их оптимизированного запуска, а не гарантия той же скорости на любом смартфоне или в любой программе.

Как модель ускоряет работу на устройстве

LES заранее подготавливает нужные части модели

В модели MoE разные слова могут обрабатываться разными «экспертами» — специализированными частями нейросети. Обычно устройству приходится загружать их с накопителя по ходу генерации, из-за чего возникают паузы. Lookahead Expert Scheduling (LES) пытается заранее предсказать, какие эксперты понадобятся следующему слою, и начинает загружать их параллельно с текущими вычислениями.

Предсказание влияет только на порядок предварительной загрузки: окончательный выбор по-прежнему делает сама модель. Если LES не угадала, нужные веса всё равно загружаются обычным способом. OpenBMB объединяет этот подход с квантованием весов и ускорением DSpark, которое позволяет основной модели проверять несколько подготовленных вариантов продолжения текста за один проход.

Сжатие изображения можно настроить

MiniCPM-V 4.7 сжимает визуальные токены — внутреннее представление частей изображения, которое обрабатывает языковая модель. Режим 4× сохраняет больше деталей, а 16× сокращает вычислительную нагрузку. Поэтому для мелкого текста или сложной схемы может быть полезен более детальный режим, а для общего описания кадра — более экономный.

В таблице OpenBMB для MiniCPM-V 4.7 35B-A3B указан результат 91,2 на OCRBench при сжатии 4× и 90,4 при 16×. В той же таблице Qwen3.6-35B-A3B получил 86,0 при 4×; при таком сравнении разница составляет 5,2 пункта. Это собственные тесты разработчика: результаты на других наборах данных и устройствах могут отличаться.

Что можно поручить MiniCPM-V 4.7

• прочитать текст на фотографии, скриншоте или отсканированной странице;
• объяснить, что изображено на одном или нескольких снимках;
• извлечь сведения из PDF, таблицы или диаграммы;
• кратко описать события и изменения в видео;
• встроить анализ визуальных материалов в локальное приложение или собственный сервис.

Для работы с документами и кадрами модель получает не только текстовый вопрос, но и само изображение или видео. Это отличает её от обычной текстовой модели. MiniCPM-V предназначена именно для понимания визуального содержимого: она не генерирует изображения и не является голосовым ассистентом.

Запуск и настройка

OpenBMB перечисляет поддержку Transformers, vLLM, SGLang, llama.cpp и Ollama. Для дообучения доступны SWIFT и LLaMA-Factory. У семейства есть варианты GGUF, BNB, AWQ, GPTQ, int4 и FP8, а также отдельные черновые модели DSpark для ускорения генерации.

Для мобильных устройств заявлена поддержка iOS, Android и HarmonyOS. В числе платформ и чипов, для которых подготовлены варианты запуска, OpenBMB указывает Apple, Intel, AMD, Arm, Rockchip и Houmo. Совместимость зависит от конкретного приложения, операционной системы и формата весов: перед установкой стоит проверить актуальные инструкции проекта.

Если сравнивать 35B-A3B с Qwen3.6-35B-A3B, важно учитывать, что обе модели доступны в разных режимах сжатия, а результаты зависят от выбранного теста. Сильная сторона MiniCPM-V 4.7 — сочетание анализа изображений и видео с оптимизацией для локального запуска, а не обещание одинакового преимущества во всех задачах.

Лицензия и доступ

Веса обеих версий размещены в официальной подборке OpenBMB на Hugging Face под лицензией Apache 2.0. Там же доступны варианты для разных способов запуска. 1B подойдёт для экспериментов с компактным локальным помощником; 35B-A3B — для разработчиков, которым нужны более широкие возможности анализа и которые готовы настраивать оптимизированный запуск.