Phi-1.5

Phi-1.5 продолжила исследовательскую линейку Microsoft от генерации кода к пониманию текста и рассуждениям на естественном языке. Первая версия технического отчёта появилась 11 сентября 2023 года; в официальном документе к модели Microsoft указывает 9 октября 2023 года как дату выпуска Phi-1.5. Для карточки Futuretools используется дата выпуска модели, а не дата размещения отчёта.

Текст и рассуждения

Модель для экспериментов, а не готового чата

Phi-1.5 содержит 1,3 млрд параметров и демонстрировала способность работать с обычными текстовыми задачами: писать короткие материалы, пересказывать, отвечать на вопросы и решать базовые логические задания. В отчёте команда сравнивала её с более крупными системами на тестах здравого смысла и понимания языка. Результаты относятся к исследовательской оценке Microsoft.

Синтетические данные

Осознанный отказ от массового веб-корпуса

В описании Microsoft подчёркнуто применение сгенерированных текстовых данных и исключение обычных веб-сканирований из обучения этой версии. Phi-1.5 не проходила настройку для следования инструкциям и обучение с обратной связью от людей. Это исследовательская версия, а не готовый чат-ассистент и важно учитывать при выборе задач.

Риски и применение

Проверяйте ответы и условия лицензии

Microsoft отмечает, что модель может галлюцинировать, воспроизводить предвзятые формулировки и генерировать нежелательный текст. Открытые веса полезны для изучения ограничений небольших моделей и безопасного дообучения, но не дают гарантии безошибочного поведения. Для диалоговых сценариев потребуется отдельная настройка и оценка.

Состав обучения

Синтетические тексты по заранее выбранным темам

Технический отчёт описывает корпус примерно из 30 млрд токенов и около 20 тысяч тем, по которым создавались учебные тексты. В базовом варианте авторы использовали синтетические материалы и ранее подготовленные данные для кода; отдельные Phi-1.5-web варианты исследовали влияние отфильтрованных интернет-текстов. Эти экспериментальные варианты не следует путать с опубликованной моделью Phi-1.5, описанной на этой странице.

Для чего полезна эта версия

Исследование небольших языковых моделей

Phi-1.5 показывала результаты в задачах понимания текста, здравого смысла, математики начального уровня и простого кода. Microsoft открыла необученную на следование инструкциям базовую версию для исследований. Чтобы использовать её как диалогового помощника, разработчику пришлось бы отдельно добавить настройку на инструкции, интерфейс и контроль качества. В карточке модели Microsoft также перечисляет риски вымышленных ответов, предвзятости и нежелательного текста.

Связанные модели и разработчик

Другие версии семейства Phi

Phi-1 · Phi-2 · Phi-3 Mini · Microsoft AI в Вики Futuretools

Первичные источники

Материалы Microsoft и карточки опубликованных весов

технический отчёт Phi-1.5 от Microsoft Research · первая версия технического отчёта Phi-1.5 от 11 сентября 2023 года · официальная сводка Microsoft с датой выпуска Phi-1.5 · официальные веса Phi-1.5 от Microsoft