LongLLaMA – это большая языковая модель, предназначенная для работы с обширными текстовыми контекстами и способная обрабатывать до 256 000 лексем. Она основана на OpenLLaMA и доработана с помощью метода фокусированного преобразования (FoT). Для использования в существующих реализациях в репозитории предлагается более компактный базовый вариант LongLLaMA размером 3B под лицензией Apache 2.0. Кроме того, он содержит код для настройки инструкций и предварительного обучения продолжению FoT. Ключевое новшество LongLLaMA заключается в способности управлять контекстами, значительно превосходящими по длительности обучающие данные, что делает его полезным для задач, требующих глубокого понимания контекста. Он включает инструменты для легкой интеграции в Hugging Face для решения задач обработки естественного языка.
LongLLaMa
LLM с обширными текстовыми контекстами и пониманием длинных контекстов.
