PaliGemma — первая открытая vision-language модель Google, представленная 14 мая 2024 года. Она соединяет визуальный кодировщик SigLIP и языковую модель Gemma; исходное семейство включает размер 3B и принимает изображение вместе с текстовым запросом. На выходе модель формирует текст, например описание изображения или ответ на визуальный вопрос. Варианты checkpoint включают google/paligemma-3b-pt-224 и google/paligemma-3b-mix-224.

Содержание

Изображения, текст и разрешения
От подписи до локализации объектов
Pretrained и Mix
Для переноса на задачу может потребоваться дообучение
Как оценивать результат
Проверьте изображения и язык на своих данных
Связанные модели и разработчик
Модели семейства Gemma
Первичные источники
Документы, карточки и журнал релизов Google

Изображения, текст и разрешения

От подписи до локализации объектов

PaliGemma обучалась для задач описания изображений и коротких видео, визуальных вопросов, чтения текста на изображении, обнаружения объектов и сегментации. Официальная документация перечисляет разрешения входа 224×224, 448×448 и 896×896 пикселей. Более высокое разрешение может помочь в задачах с мелкими деталями, но увеличивает вычислительную нагрузку и не гарантирует лучшего результата для каждого набора данных.

Pretrained и Mix

Для переноса на задачу может потребоваться дообучение

Pretrained PaliGemma предназначена для настройки на конкретной vision-language задаче. Вариант Mix обучен на смеси задач и удобен для исследовательского старта, однако официальная документация всё равно рекомендует тестировать и при необходимости адаптировать модель перед пользовательским запуском. Модель не выдаёт координаты объектов без соответствующего запроса и настройки формата выхода.

Как оценивать результат

Проверьте изображения и язык на своих данных

Проведите отдельную оценку качества распознавания мелкого текста, объектов и визуальных вопросов на типовых изображениях продукта. Результат зависит от разрешения, качества снимка, запроса и последующей настройки; модель может пропускать детали или уверенно ошибаться. Для следующего поколения перейдите к PaliGemma 2.

Связанные модели и разработчик

Модели семейства Gemma

PaliGemma 2 · PaliGemma 2 Mix · Gemma · Gemma 2 · Google DeepMind в Вики Futuretools

Первичные источники

Документы, карточки и журнал релизов Google

анонс PaliGemma · документация PaliGemma · карточка PaliGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/paligemma-3b-pt-224 · https://huggingface.co/google/paligemma-3b-mix-224