Phi-3.5 Mini

Microsoft представила Phi-3.5 Mini 22 августа 2024 года вместе с версиями MoE и Vision. Модель сохраняет компактный размер 3,8 млрд параметров, но улучшает многоязычную работу и продолжает ветку инструкционных Phi-3 Mini.

Многоязычная работа

Поддержка более двадцати языков

В анонсе Microsoft сообщила о поддержке более 20 языков и контексте до 128 тысяч токенов. Официальные открытые веса доступны по адресу microsoft/Phi-3.5-mini-instruct. Это инструкционная версия общей языковой модели, а не отдельный переводчик или модель речи.

Сравнение с Phi-3 Mini

Новое поколение компактной модели

Phi-3.5 Mini развивает предыдущее поколение в следовании инструкциям и языковом охвате. Она подходит для компактных приложений, где важны размер и стоимость развёртывания. Перед переходом сравните обе версии на русскоязычных и предметных данных: заявленное улучшение не гарантирует одинаковый эффект в каждом домене.

Запуск и ограничения

Открытые веса требуют собственной среды

Phi-3.5 Mini доступна с открытыми весами для локального запуска и дообучения, а Azure предоставляла доступ через свой облачный сервис. Конкретный уровень скорости зависит от оборудования, длины запроса и формата весов. Модель может ошибаться и не заменяет полноразмерную систему в задачах с высокой ценой ошибки.

Обновление Mini

Многоязычность и длинный контекст

Microsoft представила Phi-3.5 Mini как улучшение текстовой Mini с окном до 128 тысяч токенов и поддержкой более чем 20 языков. Анонс указывает на улучшения в многоязычном понимании и рассуждении. Это не означает равное качество на каждом языке: языки и области применения различаются по представленности в данных и тестах. Для русского языка разумно сравнивать модель на своей выборке, а не переносить показатели англоязычных бенчмарков.

Как сопоставлять её с Phi-3 Mini

Обновлённое поколение, а не вариант с длинным контекстом

Phi-3.5 Mini имеет отдельные опубликованные веса и собственную карточку модели. Это новое поколение, а не просто вариант Phi-3 Mini с увеличенным окном контекста. Если нужно выбрать между ними, полезно провести одинаковые тесты инструкций, кода и многоязычных запросов, а также сравнить скорость и потребление памяти при одинаковой длине входа.

Связанные модели и разработчик

Другие версии семейства Phi

Phi-3 Mini · Phi-3.5 MoE · Phi-3.5 Vision · Phi-4 Mini · Microsoft AI в Вики Futuretools

Первичные источники

Материалы Microsoft и карточки опубликованных весов

анонс семейства Phi-3.5 от Microsoft Azure · веса Phi-3.5 Mini