IBM STAIR сократила число недопустимых результатов поиска в 65 раз
STAIR ищет по оглавлению длинных документов. В тесте доля недопустимых заголовков упала с 3,25% до 0,05%; это не метрика ответов RAG.
Исследователи IBM предложили STAIR — систему поиска по длинным документам, которая использует их оглавление как карту знаний. В тесте на книгах она выбирала правильный раздел чаще, чем несколько известных способов поиска. Авторы также сообщили о 65-кратном снижении одного узкого типа ошибки. Но это не означает, что STAIR в 65 раз реже выдумывает факты в готовых ответах: исследование измеряло точность поиска раздела, а не достоверность ответов чат-бота.
Почему поиск по фрагментам может ошибаться
Обычная система RAG сначала делит документы на небольшие фрагменты, а затем ищет те, которые ближе всего к запросу по смыслу или совпадающим словам. Такой способ удобен, когда документов много, но при разбиении теряется часть их структуры: заголовки, связи между главами и порядок разделов.
Представьте электронную книгу по праву. Вопрос о сроке расторжения договора может содержать слова, встречающиеся и в главе о заключении договора, и в главе об ответственности. По одному сходству формулировок поисковик способен выбрать не тот фрагмент. Если генеративная модель получит нерелевантный контекст, она может построить на нём уверенный, но ошибочный ответ.
Как устроен STAIR
STAIR расшифровывается как Structure Aware Information Retriever — «поисковая система, учитывающая структуру». На вход модель получает вопрос и оглавление документа. Она должна выбрать самый подходящий конечный раздел — тот, у которого уже нет подразделов. Затем по этому заголовку можно найти соответствующий текст и передать его генеративной модели.
Оглавление ограничивает область поиска
Вместо того чтобы сразу выбирать из множества похожих фрагментов, STAIR сначала определяет, в какой части книги находится нужная информация. Например, вопрос о реакции дошкольников на критику взрослых система должна направить к разделу «Инициатива и чувство вины в дошкольном возрасте», а не к соседней главе о других этапах развития.
Модель обучают сопоставлять вопросы с заголовками разделов. Для этого авторы использовали Mistral Instruct 7B и настройку LoRA. При поиске применяется ограниченная генерация: модель может выбрать только один из существующих конечных пунктов оглавления. Такой список допустимых ответов помогает не создавать произвольные названия разделов.
Что показали испытания
Авторы собрали SearchTome — набор из 18 открытых учебников по шести направлениям: образованию, финансам, праву, медицине, естественным и общественным наукам. Вопросы и правильные разделы для них использовали для обучения и проверки системы.
Если правильный раздел оказывался первым в списке, это засчитывалось как успех по метрике Recall@1. STAIR достигла 82,6%. Для сравнения, дообученная система DSI получила 76,9%, поиск по словам BM25 — 59,5%, а плотный поиск DPR — 68,7%. Иными словами, STAIR чаще находила нужный раздел с первой попытки на этом тестовом наборе.
Откуда взялись «65 раз меньше галлюцинаций»
В работе галлюцинацией называют конкретную ошибку поисковой модели: она выдаёт заголовок, который не является конечным разделом оглавления и поэтому не подходит как идентификатор найденного документа. В этой категории STAIR ошибалась в 0,05% предсказаний, а дообученная DSI — в 3,25%. Отношение этих показателей и даёт примерно 65 раз.
Это важный результат для качества самого поиска, но он уже, чем звучит в коротких пересказах. Сравнивались STAIR и DSI, а не вся система RAG с типичным векторным поиском. И измерялась ошибка выбора допустимого пункта оглавления, а не случаи, когда языковая модель после поиска выдумывает факты. По Recall@1 STAIR всё ещё не выбирала правильный раздел первой в 17,4% случаев. Поэтому работа не доказывает, что система не галлюцинирует или готова без дополнительной проверки к использованию в критичных процессах.
Где такой подход может пригодиться
Структурный поиск выглядит особенно уместным там, где документы уже разбиты на главы и подразделы: в технических руководствах, учебниках, нормативных материалах и больших справочных базах. Для пользователя это похоже на поиск по хорошо размеченной библиотеке: сначала система находит нужную полку и раздел, а уже потом извлекает оттуда текст.
Если документы не имеют надёжного оглавления, сначала понадобится построить такую структуру. Авторы отдельно называют это ограничением текущей работы: они проверяли STAIR на корпусах с готовой глобальной структурой и планируют исследовать её применение к более разнообразным и крупным корпоративным хранилищам. В статье пока нет испытаний на рабочих базах компаний или на полном цикле генерации ответа.
Исследование и материалы
Работа STAIR: Structure Aware Information Retriever впервые опубликована на arXiv 3 сентября 2026 года; обновлённая версия вышла 13 октября. Авторы открыли код STAIR и набор SearchTome. Следующий важный шаг — проверить, сохранится ли преимущество на документах и запросах, которые ближе к реальной работе организаций.