로드 중
로드 중

RAG 파이프라인을 구축하다 보면, 시맨틱 검색만으로는 항상 최상의 결과를 얻을 수 없다는 것을 금방 알게 됩니다. 때로는 시맨틱 검색이 놓칠 수 있는 정확한 용어 일치가 필요합니다. 해결책은 BM25라는 기법을 사용해 시맨틱 검색과 어휘 검색을 결합하는 것입니다.

시맨틱 검색만 사용할 때의 문제점

문서에서 "INC-2023-Q4-011"과 같은 특정 인시던트 ID를 검색하는 경우를 생각해 봅시다. 이 정확한 용어는 관련 섹션에 여러 번 등장하지만, 시맨틱 검색은 의미상으로는 유사하지만 실제로는 찾고 있는 특정 용어를 포함하지 않는 관련 없는 섹션을 반환할 수 있습니다.

이 쿼리에서는 사이버 보안(Cybersecurity) 섹션과 소프트웨어 엔지니어링(Software Engineering) 섹션을 원했지만, 사이버 보안 섹션과 재무 분석(Financial Analysis) 섹션이 반환되었습니다.

이는 시맨틱 검색이 정확한 일치보다 의미에 초점을 맞추기 때문에 발생합니다. 정밀한 용어 일치가 필요한 경우에는 다른 접근 방식이 필요합니다.

하이브리드 검색 전략

해결책은 두 가지 검색을 병렬로 실행하고 결과를 병합하는 것입니다:

INC-2023-Q4-011에 관한 사용자 질문이 시맨틱 검색과 어휘 검색을 병렬로 거친 뒤, 두 결과가 병합됩니다.

  • 시맨틱 검색(Semantic Search) - 임베딩과 벡터 데이터베이스를 사용하여 의미 기반으로 일치시킵니다
  • 어휘 검색(Lexical Search) - 고전적인 텍스트 검색을 사용하여 정확한 용어를 일치시킵니다
  • 결과 병합(Merge Results) - 더 나은 커버리지를 위해 두 결과 집합을 결합합니다

BM25의 작동 방식

BM25(Best Match 25)는 RAG 파이프라인에서 어휘 검색에 널리 사용되는 알고리즘입니다. 다음은 검색 쿼리를 처리하는 방식입니다:

"a INC-2023-Q4-011"에 대한 BM25: "a"는 빈도가 5이고 중요도가 낮으며, "INC-2023-Q4-011"은 빈도가 1이고 중요도가 높습니다.

이 알고리즘은 다음과 같은 주요 단계를 따릅니다:

  1. 쿼리 토큰화 - 사용자의 질문을 개별 용어로 분리합니다
  2. 용어 빈도 계산 - 각 용어가 모든 문서에서 얼마나 자주 등장하는지 확인합니다
  3. 희귀도에 따른 용어 가중치 부여 - 덜 빈번하게 사용되는 용어에 더 높은 중요도 점수를 부여합니다
  4. 최적의 일치 항목 찾기 - 가중치가 높은 용어를 더 많이 포함하는 청크를 반환합니다

핵심은 "INC-2023-Q4-011"과 같은 희귀한 용어가 "a"나 "the"와 같은 일반적인 단어보다 검색에서 훨씬 더 중요하다는 것입니다.

BM25 검색 시스템을 설정하는 방법은 다음과 같습니다:

python
# BM25 저장소를 생성합니다
store = BM25Index()

# 저장소에 문서를 추가합니다
for chunk in chunks:
    store.add_document({"content": chunk})

# 저장소를 검색합니다
results = store.search("What happened with INC-2023-Q4-011?", 3)

BM25 구현체는 시맨틱 검색 시스템과 동일한 API를 제공합니다 - 두 시스템 모두 add_document()와 search() 메서드를 가지고 있어 함께 사용하기 쉽습니다.

더 나은 검색 결과

시맨틱 검색만으로는 실패했던 동일한 쿼리를 BM25를 통해 실행하면 훨씬 더 나은 결과를 얻을 수 있습니다. 관련 없는 섹션을 반환하는 대신, BM25는 실제로 특정 검색 용어를 포함하는 섹션의 우선순위를 높입니다.

이 알고리즘은 "INC-2023-Q4-011"이 희귀하고 중요한 용어임을 정확히 인식하고, 이를 포함하는 문서의 순위를 쿼리의 일반적인 단어만 포함한 문서보다 훨씬 높게 매깁니다.

다음 단계

이제 시맨틱 검색과 어휘 검색 시스템이 독립적으로 작동하게 되었으니, 다음 단계는 두 결과를 병합하는 것입니다. 이 하이브리드 접근 방식은 시맨틱 검색의 맥락적 이해와 어휘 검색의 정확한 용어 일치의 정밀성을 결합하여 두 가지 방식의 장점을 모두 제공합니다.

INC-2023-Q4-011에 관한 사용자 질문이 시맨틱 검색과 어휘 검색을 병렬로 거친 뒤, 두 결과가 병합됩니다.

두 검색 시스템 모두 유사한 API를 사용하므로, 두 시스템을 병렬로 쿼리하고 결과를 하나의 더 포괄적인 결과 집합으로 결합하는 것이 간단합니다.