text-embedding-ada-002
text-embedding-ada-002 — модель OpenAI для преобразования текста и кода в векторы; она объединила несколько прежних моделей поиска и сходства.
OpenAI представила text-embedding-ada-002 15 декабря 2022 года. Модель преобразует текст и код в векторы — последовательности чисел, которые можно сравнивать для смыслового поиска, классификации и группировки. При выпуске она объединила несколько отдельных моделей эмбеддингов OpenAI для текстового поиска, сравнения предложений и кода.
Что изменилось в ada-002
Одна модель вместо нескольких специализированных
До выпуска ada-002 API предлагал отдельные модели для поискового запроса, документа, сходства текста и кода. OpenAI объединила эти сценарии в одну модель размерностью 1536 и расширила контекст до 8192 токенов. Компания сообщала, что ada-002 превосходила прежние модели на большинстве включённых в тесты задач поиска и сходства, однако отдельно отмечала слабый результат на одной задаче классификации SentEval.
Как применяются эмбеддинги
Поиск, рекомендации и сопоставление
После обработки текста модель возвращает числовой вектор. Приложение сохраняет векторы документов, преобразует пользовательский запрос и выбирает близкие по расстоянию значения. Такой подход помогает находить релевантные фрагменты при перефразировании и несовпадении буквальных ключевых слов. Для генерации связного ответа обычно требуется следующий этап — передать найденные фрагменты языковой модели.
Место среди новых версий
Предыдущее поколение для сравнения и миграции
В январе 2024 года OpenAI представила text-embedding-3-small и text-embedding-3-large как следующее поколение. В анонсе компания сообщила, что не выводит ada-002 из API на момент релиза новых версий. При переносе вектора между моделями нельзя смешивать индексы: документы и запросы должны кодироваться одной и той же моделью и конфигурацией размерности.
Похожие модели OpenAI
Сравнить соседние версии можно на страницах: text-embedding-3-small; text-embedding-3-large.
Сведения о разработчике и его моделях: OpenAI в Вики Futuretools.ru.
Официальный источник: материал разработчика.