LongLLaMa — большая языковая модель для длинных контекстов

LongLLaMA предназначена для работы с большими текстовыми контекстами и способна обрабатывать до 256 000 токенов. Она основана на OpenLLaMA и дообучена методом Focused Transformer (FoT).

Варианты и инструменты

В репозитории доступна уменьшенная базовая версия LongLLaMA на 3B по лицензии Apache 2.0 для использования в существующих реализациях. Также представлены код для инструкционного дообучения и продолжения предварительного обучения методом FoT.

Ключевая особенность LongLLaMA — способность работать с контекстами, значительно более длинными, чем данные, использованные при обучении. Модель предназначена для задач, требующих понимания обширного контекста. В комплект входят инструменты для интеграции с Hugging Face при выполнении задач обработки естественного языка.