Последние
Разработка

Гибридный поиск в RAG: как объединить слова и смысл

Гибридный retrieval соединяет точные лексические совпадения и смысловую близость. Разбираем объединение кандидатов и проверку на вымышленной базе правил.

В этом материале10 разделов
Сравнение двух каналов гибридного поиска в RAG: лексический канал ищет точные совпадения, смысловой — перефразировки; кандидаты объединяются для проверки.
Редакционная схема PENROUZ NEWS. Объединяйте кандидатов, затем проверяйте ранжирование на контрольных вопросах.PENROUZ NEWS

Сообщить об ошибке или предложить уточнение

Короткий ответ: гибридный поиск соединяет два списка кандидатов

Гибридный поиск в RAG использует как минимум два независимых сигнала. Лексический канал поднимает фрагменты с точными словами, кодами, названиями и устойчивыми формулировками. Смысловой канал ищет тексты, близкие к вопросу по содержанию, даже если слова отличаются. Система объединяет кандидатов, удаляет дубли, повторно упорядочивает их и только затем передаёт выбранные фрагменты языковой модели.

Польза гибридного подхода не в том, что два поиска автоматически дают правильный ответ. Он расширяет способы найти основание: один канал компенсирует слабые места другого. Проверять нужно не финальную гладкость текста, а конкретный результат извлечения — попал ли нужный фрагмент в кандидаты, поднялся ли выше похожих, но неверных документов, сохранились ли точные ограничения и версия источника.

До настройки поиска нужен управляемый корпус: авторитетные документы, смысловое разбиение, версии и контрольные вопросы. Эту исходную работу описывает гайд по подготовке базы знаний для RAG.

Лексический поиск сохраняет точные формулировки

Лексический поиск сравнивает запрос и документы по словам и их формам. Он особенно полезен там, где символы имеют самостоятельное значение: номер формы, артикул, название раздела, фамилия автора, точная цитата или редкий термин. Запрос «форма 7-Б» должен поднимать документ с этой маркировкой даже в том случае, если его общий смысл похож на десятки других инструкций.

Слабость лексического канала проявляется при перефразировании. Пользователь может спросить «как продлить читательский билет», а в документе написано «увеличение срока действия удостоверения». Совпадение слов небольшое, хотя намерение одно. Расширение запроса синонимами иногда помогает, но ручной словарь трудно поддерживать для всех формулировок. Здесь смысловой канал даёт другой путь к тому же документу.

Смысловой поиск находит перефразировки

Смысловой поиск превращает вопрос и фрагменты в числовые представления и сравнивает их близость. Он способен связать разговорный запрос с официальной формулировкой или найти тематически похожий абзац без полного совпадения слов. Механизм и его границы отдельно разобраны в материале о векторных представлениях и смысловом поиске.

Смысловая близость не гарантирует точность детали. Фрагмент о продлении документа может оказаться рядом с вопросом о продлении билета, но не содержать нужного исключения или номера формы. Короткие коды и редкие имена также могут потеряться среди общего смысла. Поэтому векторный канал хорошо расширяет кандидатов, но не отменяет точное совпадение, фильтры по метаданным и чтение найденного текста.

Чем гибридный поиск отличается от векторного

Векторный поиск строит один список по смысловой близости. Гибридный поиск получает ещё один список по лексическому сигналу и объединяет их до финального выбора. Это не новая база и не отдельный генератор ответа, а способ сформировать и ранжировать кандидатов. Одна и та же запись может прийти из обоих каналов; её нужно распознать по устойчивому идентификатору, а не считать двумя независимыми доказательствами.

Векторная база отвечает за хранение фрагментов, представлений и метаданных, тогда как гибридная логика отвечает за несколько каналов извлечения и их объединение. Границы компонента и путь от записи до контекста разобраны в статье о векторной базе данных для RAG.

Два канала и общий результат

СитуацияЛексический каналСмысловой канал
Точный код или названиеОбычно даёт сильный сигнал совпаденияМожет считать код малозначимой деталью
Перефразированный вопросМожет не найти общих словИщет близкое намерение
Похожий, но неверный разделТочное слово может ввести в заблуждениеОбщая тема может ввести в заблуждение
Итог гибридного поискаКандидаты входят в общий пулКандидаты входят в тот же пул
Каналы дополняют друг друга, но оба требуют проверки на одном контрольном наборе.

Как объединить результаты без подмены оценки

Начните с прозрачного объединения. Получите небольшой список из каждого канала, приведите записи к одному идентификатору, удалите дубли и сохраните происхождение кандидата: лексика, смысл или оба сигнала. Затем примените единое правило порядка. Можно учитывать позиции в исходных списках, нормализованные оценки или отдельный повторный ранжировщик. Важно не смешивать несопоставимые числа напрямую: высокий балл одного канала не обязан иметь тот же смысл, что такой же балл другого.

Правило объединения выбирают по контрольным запросам, а не по одному удачному примеру. Зафиксируйте исходный порядок обоих списков, итоговый порядок и причину, по которой нужный фрагмент поднялся или опустился. Если повторное ранжирование скрывает вклад каналов, сохраняйте трассу. Так ошибка становится диагностируемой: нужного документа не было в кандидатах, он потерялся при объединении или его вытеснил более общий фрагмент.

Учебный пример: правила вымышленной библиотеки

Представим вымышленную базу правил библиотеки. В документе есть раздел «Продление читательского билета», форма «7-Б» и исключение для удостоверений с истёкшим сроком. Первый контрольный запрос звучит точно: «Где форма 7-Б?». Второй передаёт тот же результат другими словами: «Как увеличить срок действия читательского удостоверения?». Третий смешивает условия: «Можно ли продлить билет после окончания срока?»

Лексический канал должен уверенно заметить «7-Б» и точный заголовок. Смысловой канал помогает со вторым запросом, где официальных слов почти нет. Для третьего недостаточно найти общий раздел: нужен фрагмент с исключением. Гибридная выдача считается полезной только тогда, когда правильный пункт поднимается выше общего описания и передаётся генератору вместе с идентификатором документа.

Шаблон проверки гибридного retrieval
{
  "query": "Можно ли продлить билет после окончания срока?",
  "expected_fragment": "Правило продления вместе с исключением",
  "lexical_candidates": "Сохранить идентификаторы и позиции",
  "semantic_candidates": "Сохранить идентификаторы и позиции",
  "merged_candidates": "Удалить дубли и записать источник каждого сигнала",
  "final_ranking": "Проверить, что исключение выше общего описания",
  "no_answer_rule": "Не генерировать условие, если подходящего фрагмента нет"
}

Документы, форма и запросы в примере вымышлены. Шаблон показывает проверяемую последовательность и не является результатом испытания конкретного продукта, модели представлений или алгоритма ранжирования.

Как проверить retrieval отдельно от генерации

Сначала отключите оценку красивого ответа и смотрите только на поиск. Для каждого вопроса заранее укажите допустимые фрагменты, явно неверные кандидаты и правило поведения при отсутствии основания. Проверьте три конфигурации на одном наборе: только лексический канал, только смысловой и гибридный. Сравните не среднее впечатление, а конкретные провалы: точные коды, перефразировки, исключения, короткие запросы и вопросы без ответа.

После того как нужные фрагменты устойчиво попадают в верхнюю часть списка, подключайте генерацию. Теперь проверяйте, использован ли найденный контекст, сохранены ли исключения и открывается ли источник. Если поиск вернул правильный фрагмент, а ответ его исказил, менять гибридное ранжирование бессмысленно. Если фрагмент не найден, новая инструкция генератору тоже не исправит retrieval.

Какие ошибки выявляет сравнение каналов

Если лексический поиск находит код, а смысловой нет, оставьте точный сигнал и добавьте такие запросы в контрольный набор. Если смысловой поиск находит перефразировку, а лексический выдаёт пусто, проверьте синонимы и качество корпуса, но не заставляйте точный канал угадывать смысл. Если оба списка содержат нужный документ, а итоговый порядок плох, проблема находится в объединении или повторном ранжировании.

Если оба канала возвращают много похожих, но неверных фрагментов, причина может быть раньше: слишком крупное разбиение, потерянные заголовки, дубли редакций или отсутствие фильтра версии. Гибридный поиск не исправляет слабый корпус автоматически. Он лишь даёт больше сигналов, по которым можно собрать кандидатов.

Когда гибридный поиск может ухудшить результат

Дополнительный канал расширяет пул, а значит может добавить шум. Это особенно заметно, когда лексические совпадения общие, а смысловые кандидаты тематически близки, но не отвечают на вопрос. Если объединение всегда повышает документ, найденный обоими каналами, дублированная общая тема способна вытеснить редкое, но точное исключение. Правило должно проверяться на реальных типах ошибок, а не вознаграждать само наличие двух сигналов.

Сложность также растёт: появляются две конфигурации поиска, правило слияния, журнал происхождения и отдельные точки отказа. Для небольшого корпуса один хорошо настроенный канал может быть достаточен. Добавляйте второй только после того, как контрольный набор показал устойчивый класс промахов, который он способен закрыть.

Проверяемая последовательность внедрения

  1. Соберите контрольные вопросы с точными терминами, перефразировками, исключениями и отсутствующим ответом.
  2. Зафиксируйте правильные фрагменты и явно неверные похожие документы.
  3. Запустите лексический и смысловой поиск отдельно и сохраните кандидатов с идентификаторами.
  4. Объедините списки по устойчивому идентификатору, не считая дубль дополнительным доказательством.
  5. Выберите прозрачное правило порядка и сохраните вклад каждого канала.
  6. Сравните три конфигурации на одном наборе, не меняя одновременно корпус и разбиение.
  7. Разберите провалы по уровню: корпус, канал поиска, объединение, повторное ранжирование или генерация.
  8. После изменения повторите тот же набор и сохраните новую версию отчёта.

Итогом должен быть не лозунг «гибрид лучше», а воспроизводимый ответ: какие запросы улучшились, какие ошибки добавились и почему итоговый список ближе к задаче. Для вопросов, где нужен документ-основание, человек всё равно должен уметь открыть первоисточник. Общий выбор между поиском и генерацией продолжает материал «Поиск или нейросеть: когда нужен первоисточник».

Первоисточники ниже показывают два варианта реализации общей схемы: Qdrant описывает получение кандидатов несколькими запросами, их слияние и многоэтапную переоценку, а Microsoft Learn — параллельный полнотекстовый и векторный поиск с объединением результатов. Это примеры механизмов, а не обещание одинакового качества на любом корпусе.

В этом материале

На этом устройстве

Сохранённые материалы