GPT-3.5 Turbo 16K — версия модели с расширенным контекстом
GPT-3.5 Turbo 16K принимала до четырёх раз больше текста за один запрос, чем стандартная версия GPT-3.5 Turbo. Это отдельная историческая версия API, а не современная рекомендация для новых проектов.
GPT-3.5 Turbo 16K — версия модели OpenAI с увеличенным контекстным окном. Компания представила её 13 июня 2023 года вместе с обновлённой GPT-3.5 Turbo и функцией вызова внешних функций. Суффикс 16K указывал на возможность передать заметно больше текста в одном запросе, чем стандартной версии того времени. Описание релиза опубликовано в анонсе OpenAI от 13 июня 2023 года. Разработчик и его основные проекты представлены в OpenAI в Вики Futuretools.
Зачем модели увеличили контекст
Длинный контекст позволял передать модели более объёмный документ, историю переписки или исходные данные без предварительного разбиения на множество запросов. OpenAI указывала, что 16 тысяч токенов соответствуют примерно двадцати страницам обычного текста. Это оценка для английского текста: количество страниц зависит от языка, форматирования и состава документа.
Что означал формат 16K
Контекст включает и входные данные, и ответ модели. Поэтому длинный документ уменьшает пространство, остающееся для генерации. Увеличенный лимит не гарантировал безошибочное понимание всего содержимого: модель по-прежнему могла пропускать детали или давать неверные ответы.
Место в линейке и актуальность
GPT-3.5 Turbo 16K — историческая версия семейства GPT-3.5. В июне 2023 года она стоила дороже стандартной модели, а позднее линейка получила более современные и эффективные варианты. Для знакомства с семейством смотрите страницу GPT-3.5 Turbo и материал о GPT-4o mini. По текущей документации OpenAI, для новых задач следует выбирать доступную актуальную модель и проверять совместимость старого API перед переносом.
Подробнее о выпуске и параметрах той версии можно прочитать в официальном анонсе OpenAI.