RAG 파이프라인을 구축하다 보면, 시맨틱 검색만으로는 항상 최상의 결과를 얻을 수 없다는 것을 금방 알게 됩니다. 때로는 시맨틱 검색이 놓칠 수 있는 정확한 용어 일치가 필요합니다. 해결책은 BM25라는 기법을 사용해 시맨틱 검색과 어휘 검색을 결합하는 것입니다.
시맨틱 검색만 사용할 때의 문제점
문서에서 "INC-2023-Q4-011"과 같은 특정 인시던트 ID를 검색하는 경우를 생각해 봅시다. 이 정확한 용어는 관련 섹션에 여러 번 등장하지만, 시맨틱 검색은 의미상으로는 유사하지만 실제로는 찾고 있는 특정 용어를 포함하지 않는 관련 없는 섹션을 반환할 수 있습니다.

이는 시맨틱 검색이 정확한 일치보다 의미에 초점을 맞추기 때문에 발생합니다. 정밀한 용어 일치가 필요한 경우에는 다른 접근 방식이 필요합니다.
하이브리드 검색 전략
해결책은 두 가지 검색을 병렬로 실행하고 결과를 병합하는 것입니다:

- 시맨틱 검색(Semantic Search) - 임베딩과 벡터 데이터베이스를 사용하여 의미 기반으로 일치시킵니다
- 어휘 검색(Lexical Search) - 고전적인 텍스트 검색을 사용하여 정확한 용어를 일치시킵니다
- 결과 병합(Merge Results) - 더 나은 커버리지를 위해 두 결과 집합을 결합합니다
BM25의 작동 방식
BM25(Best Match 25)는 RAG 파이프라인에서 어휘 검색에 널리 사용되는 알고리즘입니다. 다음은 검색 쿼리를 처리하는 방식입니다:

이 알고리즘은 다음과 같은 주요 단계를 따릅니다:
- 쿼리 토큰화 - 사용자의 질문을 개별 용어로 분리합니다
- 용어 빈도 계산 - 각 용어가 모든 문서에서 얼마나 자주 등장하는지 확인합니다
- 희귀도에 따른 용어 가중치 부여 - 덜 빈번하게 사용되는 용어에 더 높은 중요도 점수를 부여합니다
- 최적의 일치 항목 찾기 - 가중치가 높은 용어를 더 많이 포함하는 청크를 반환합니다
핵심은 "INC-2023-Q4-011"과 같은 희귀한 용어가 "a"나 "the"와 같은 일반적인 단어보다 검색에서 훨씬 더 중요하다는 것입니다.
BM25 검색 구현하기
BM25 검색 시스템을 설정하는 방법은 다음과 같습니다:
# BM25 저장소를 생성합니다
store = BM25Index()
# 저장소에 문서를 추가합니다
for chunk in chunks:
store.add_document({"content": chunk})
# 저장소를 검색합니다
results = store.search("What happened with INC-2023-Q4-011?", 3)BM25 구현체는 시맨틱 검색 시스템과 동일한 API를 제공합니다 - 두 시스템 모두 add_document()와 search() 메서드를 가지고 있어 함께 사용하기 쉽습니다.
더 나은 검색 결과
시맨틱 검색만으로는 실패했던 동일한 쿼리를 BM25를 통해 실행하면 훨씬 더 나은 결과를 얻을 수 있습니다. 관련 없는 섹션을 반환하는 대신, BM25는 실제로 특정 검색 용어를 포함하는 섹션의 우선순위를 높입니다.
이 알고리즘은 "INC-2023-Q4-011"이 희귀하고 중요한 용어임을 정확히 인식하고, 이를 포함하는 문서의 순위를 쿼리의 일반적인 단어만 포함한 문서보다 훨씬 높게 매깁니다.
다음 단계
이제 시맨틱 검색과 어휘 검색 시스템이 독립적으로 작동하게 되었으니, 다음 단계는 두 결과를 병합하는 것입니다. 이 하이브리드 접근 방식은 시맨틱 검색의 맥락적 이해와 어휘 검색의 정확한 용어 일치의 정밀성을 결합하여 두 가지 방식의 장점을 모두 제공합니다.

두 검색 시스템 모두 유사한 API를 사용하므로, 두 시스템을 병렬로 쿼리하고 결과를 하나의 더 포괄적인 결과 집합으로 결합하는 것이 간단합니다.