Phi-3 Medium

Phi-3 Medium — крупнейшая из трёх текстовых моделей первоначального семейства Phi-3. Microsoft представила её на Build 21 мая 2024 года. Модель содержит 14 млрд параметров и предназначена для случаев, когда важнее качество ответа, чем минимальные требования к памяти и задержке.

Размер и варианты

Одна модель, два варианта модели с разной длиной контекста

В Microsoft Hugging Face опубликованы Phi-3 Medium 4K Instruct и Phi-3 Medium 128K Instruct: microsoft/Phi-3-medium-4k-instruct и microsoft/Phi-3-medium-128k-instruct. Контекстный вариант выбирают по объёму материалов в запросе; 128K не означает, что любой длинный документ будет точно обработан целиком.

Назначение

Инструкции, текст, код и рассуждение

Phi-3 Medium рассчитана на генерацию и анализ текста, помощь с программированием и решение задач, где нужна более высокая ёмкость модели. Microsoft опубликовала результаты внутренних и стандартных тестов. Они относятся к зафиксированной настройке и не гарантируют преимущество на любом языке или домене.

Практический выбор

Сопоставьте точность с затратами

По сравнению с Mini и Small эта версия требует больше ресурсов для инференса и тонкой настройки. Перед выбором сравните стоимость оборудования или API, время ответа и качество на собственном наборе. Все варианты семейства могут ошибаться, а при обработке финансовых, медицинских или юридических материалов необходим отдельный контроль.

Роль старшей текстовой модели Phi-3

14 млрд параметров для более сложных запросов

Phi-3 Medium стала старшей из первоначальных текстовых моделей линейки: её размер составляет 14 млрд параметров. Она предназначалась для задач, в которых дополнительная ёмкость модели могла улучшить понимание инструкции и решение составных запросов. По сравнению с Mini и Small такой размер обычно требует больше памяти. Поэтому выбор Medium разумно обосновывать измерением качества, а не только тем, что это самая крупная версия семейства Phi-3.

Два варианта весов

Короткое и длинное контекстное окно

Microsoft опубликовала версии 4K Instruct и 128K Instruct. Первая рассчитана на более короткий контекст, вторая — на передачу объёмных материалов. Длинный вход повышает требования к памяти и не гарантирует точного извлечения всех сведений. При оценке документов полезно проверять факты, расположенные в начале, середине и конце текста, и сравнивать обе версии на одном наборе запросов.

Связанные модели и разработчик

Другие версии семейства Phi

Phi-3 Mini · Phi-3 Small · Phi-3 Vision · Phi-4 · Microsoft AI в Вики Futuretools

Первичные источники

Материалы Microsoft и карточки опубликованных весов

анонс Phi-3 Small, Medium и Vision на Microsoft Build · вариант Phi-3 Medium с контекстом 4K · вариант Phi-3 Medium с контекстом 128K