Phi-3 Mini

Microsoft объявила Phi-3 Mini 23 апреля 2024 года и в тот же день открыла модель на 3,8 млрд параметров через Azure AI и Hugging Face. Компания позиционировала её для сценариев, где важны небольшой размер, быстрый отклик и возможность развёртывания на устройствах с ограниченными ресурсами.

Две версии контекста

4K и 128K — варианты одного выпуска

В официальных карточках опубликованы Phi-3 Mini 4K Instruct и Phi-3 Mini 128K Instruct. Они относятся к одной модели и отличаются доступной длиной контекста; для них опубликованы отдельные репозитории с весами microsoft/Phi-3-mini-4k-instruct и microsoft/Phi-3-mini-128k-instruct. Это не отдельные поколения Phi-3.

Практические задачи

Текст, математика и программирование

Phi-3 Mini была обучена следованию инструкциям и рассчитана на диалоговые приложения, работу с кодом, задачами на логику и документами. Microsoft публиковала оценки на тестах языка, математики и кода; результаты зависят от конкретной версии модели и способа запуска. Модель может работать локально или в облачной среде, если хватает памяти и поддерживается нужная реализация.

Ограничения

Выбирайте контекст и проверяйте ответы

Длинный вариант 128K позволяет передать больше текста, но увеличивает расход памяти и время обработки. В обеих версиях ответы требуют проверки: модель может неверно трактовать неоднозначный запрос или придумывать детали. Для встроенных сценариев необходимо отдельно обеспечить защиту данных и контроль доступа.

Первая модель поколения Phi-3

Релиз начался с компактной Mini

На момент запуска 23 апреля 2024 года Microsoft представила именно Phi-3 Mini — модель на 3,8 млрд параметров. Компания сообщила, что её веса можно было загрузить и использовать, а версии с контекстом 4K и 128K предназначались для разных объёмов входного текста. Small, Medium и Vision появились в отдельном объявлении на Microsoft Build в мае; это самостоятельные страницы, а не варианты одного размера контекста.

Как выбрать длину контекста

4K для коротких запросов, 128K для больших материалов

Короткая версия обычно требует меньше памяти при обработке запроса. Расширенная позволяет передать большой документ или более длинную историю диалога, но по мере увеличения входа растут вычислительные затраты. Поддержка окна в 128 тысяч токенов не означает, что модель одинаково хорошо извлечёт каждую деталь из любого объёмного файла. В обоих случаях следует проверять ответы по исходному документу.

Связанные модели и разработчик

Другие версии семейства Phi

Phi-2 · Phi-3 Small · Phi-3 Medium · Phi-3 Vision · Microsoft AI в Вики Futuretools

Первичные источники

Материалы Microsoft и карточки опубликованных весов

анонс Phi-3 от Microsoft Azure · технический отчёт Phi-3 от Microsoft Research · вариант Phi-3 Mini с контекстом 4K · вариант Phi-3 Mini с контекстом 128K