DataGemma

DataGemma — исследовательский проект Google от 12 сентября 2024 года, соединяющий языковые модели Gemma с открытыми статистическими данными Data Commons. Это не отдельный универсальный чат и не гарантия устранения ошибок: опубликованы два подхода к поиску и подстановке проверяемых статистических сведений. Идентификаторы официальных checkpoint — google/datagemma-rig-27b-it и google/datagemma-rag-27b-it.

Два способа использовать статистические данные

RIG подставляет факт, RAG расширяет контекст

Retrieval-Interleaved Generation (RIG) выявляет числовые утверждения в тексте, получает значение из Data Commons и подменяет им статистическую часть ответа. Retrieval-Augmented Generation (RAG) ищет релевантные данные и добавляет их в контекст перед генерацией ответа Gemini 1.5 Pro. Таким образом, в системе участвуют модель, поиск по Data Commons и программная логика интеграции.

Какие данные входят в Data Commons

Публичные показатели с указанием источника

Data Commons объединяет статистические сведения из открытых источников, в том числе международных организаций и национальных статистических ведомств. DataGemma предназначена для запросов к таким измеримым данным — например, показателям здоровья, экономики и демографии. Актуальность результата зависит от самой базы, найденной переменной, периода и корректности сопоставления вопроса с данными.

Ограничения исследовательской системы

Проверяйте вычисления и происхождение цифр

Google описывала результаты RIG и RAG как предварительные и сообщала о снижении ошибок на числовых фактах в оценённых сценариях. Это не доказывает, что модель всегда выдаёт верное число или правильно выбирает показатель. Перед применением следует проверить ссылку на исходную переменную, единицы измерения, период наблюдения и вычисления, а также обрабатывать случаи, когда подходящих данных в Data Commons нет.

Связь с моделями Google

DataGemma использует компоненты базового семейства

RIG построен на варианте Gemma 2, а RAG использует Gemini 1.5 Pro с полученными из Data Commons сведениями. Эти технологии важно различать: Gemma обеспечивает часть языковой обработки, Data Commons — статистический источник, а retrieval-методы связывают их. Подробнее о базовой модели: Gemma 2; о моделях Google — страница Google DeepMind в Вики.

Связанные модели и разработчик

Модели семейства Gemma

Gemma · Gemma 2 · Gemma 4 · EmbeddingGemma · Google DeepMind в Вики Futuretools

Первичные источники

Документы, карточки и журнал релизов Google

анонс DataGemma · документация DataGemma · официальный журнал выпусков Gemma · https://huggingface.co/google/datagemma-rig-27b-it · https://huggingface.co/google/datagemma-rag-27b-it