로드 중
로드 중

시맨틱 검색(벡터 임베딩)과 렉시컬 검색(BM25)이 각각 독립적으로 작동하게 되면, 다음 단계는 이 둘을 하나의 통합 검색 파이프라인으로 결합하는 것입니다. 이 하이브리드 방식은 두 방법의 장점을 모두 활용하여 더 정확한 결과를 제공합니다.

INC-2023-Q4-011에 대한 사용자 질문이 시맨틱 검색과 렉시컬 검색을 병렬로 거친 후, 그 결과가 병합됩니다.

통합 인터페이스 구축하기

두 검색 구현체는 거의 동일한 API를 공유합니다 - 둘 다 add_document()와 search() 메서드를 가지고 있습니다. 이러한 일관성 덕분에 두 방식을 조율하는 단일 Retriever 클래스로 감싸는 작업이 쉬워집니다.

VectorIndex와 BM25Index는 각각 텍스트 청크를 추가하는 add_document와, 청크 및 점수를 반환하는 "search"를 가지고 있습니다.

Retriever는 다음과 같은 역할을 하는 조율자입니다:

  • 사용자의 질문을 수신합니다
  • 이를 VectorIndex와 BM25Index 양쪽으로 전달합니다
  • 두 시스템에서 결과를 수집합니다
  • 랭킹 알고리즘을 사용해 결과를 병합합니다

Retriever의 다이어그램: 사용자 질문이 VectorIndex와 BM25Index 양쪽으로 전달되고, 그 결과가 병합됩니다.

Reciprocal Rank Fusion

어려운 점은 서로 다른 검색 방법의 결과를 병합하는 것입니다. 각 시스템은 서로 다른 점수 산정 방식으로 결과를 반환하기 때문에, 점수를 단순히 직접 합산할 수는 없습니다. 대신 Reciprocal Rank Fusion(RRF)이라는 기법을 사용합니다.

아래 예시에 대한 VectorIndex와 BM25Index 결과 표로, 각각 순위 1에서 0.234와 0.184 같은 점수 열을 가지고 있습니다.

실제 예시를 통해 RRF가 어떻게 작동하는지 살펴보겠습니다. VectorIndex가 Section 2, Section 7, Section 6 순으로 결과를 반환했다고 가정해 보겠습니다. 한편, BM25Index는 Section 6, Section 2, Section 7 순으로 결과를 반환했습니다.

VectorIndex와 BM25Index의 순위가 매겨진 결과를 각 텍스트 청크의 두 인덱스 상 순위를 나타내는 하나의 표로 결합했습니다.

이 결과들을 병합하기 위해, 각 텍스트 청크가 두 시스템에서 각각 몇 위인지 보여주는 결합 표를 만듭니다:

벡터와 BM25에서 각 섹션의 순위를 RRF 점수와 함께 정리한 표로, 점수가 높을수록 더 관련성이 높은 청크임을 나타냅니다.

RRF 공식은 각 문서에 대한 점수를 다음과 같이 계산합니다:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

여기서 k는 상수(일반적으로 60이지만, 더 명확한 결과를 위해서는 1도 잘 작동합니다)이고, rank_i(d)는 i번째 랭킹 시스템에서 문서 d의 순위입니다.

Reciprocal Rank Fusion 공식과 세 섹션의 벡터 및 BM25 순위와 점수를 나타낸 표로, 점수가 높을수록 더 관련성이 높습니다.

각 텍스트 청크에 대해 다음과 같이 계산합니다:

  • Section 2: 1.0/(1+1) + 1.0/(1+2) = 0.833
  • Section 7: 1.0/(1+2) + 1.0/(1+3) = 0.583
  • Section 6: 1.0/(1+3) + 1.0/(1+1) = 0.75

점수 기준으로 정렬하면, 최종 순위는 Section 2(1위), Section 6(2위), Section 7(3위)이 됩니다.

각 텍스트 청크의 벡터 순위, BM25 순위, 점수 및 최종 순위를 나타낸 표로, 점수가 높을수록 더 관련성이 높습니다.

구현

Retriever 클래스의 구현은 간단합니다:

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # 모든 인덱스에서 결과 가져오기
        all_results = []
        for idx, results in enumerate(all_results):
            for rank, (doc, _) in enumerate(results):
                # 시스템 전반의 문서 순위 추적
                # RRF 공식 적용
                # 병합 및 정렬된 결과 반환

인덱스가 없을 때, 쿼리 텍스트가 문자열이 아닐 때, k가 양수가 아닐 때, k_rrf가 음수일 때 오류를 발생시키는 노트북의 Retriever 클래스.

핵심 통찰은 RRF 알고리즘이 단일 점수 산정 방식에 의존하는 대신, 각 문서가 모든 검색 시스템에서 전반적으로 얼마나 좋은 성능을 보이는지를 고려하여 통합된 순위를 만든다는 점입니다.

하이브리드 방식 테스트하기

"INC-2023-Q4-011에 무슨 일이 있었나요?"와 같은 쿼리로 테스트할 때, 하이브리드 방식은 두 방법을 각각 단독으로 사용했을 때보다 훨씬 더 나은 결과를 제공합니다. 순수 벡터 검색에서 나오는 예상치 못한 결과 대신, 이제는 가장 관련성 높은 사이버보안 사고 보고서가 먼저 나오고, 그다음으로 관련된 소프트웨어 엔지니어링 콘텐츠가 이어집니다.

노트북 출력: Section 10 Cybersecurity Analysis는 약 0.0325, Section 2는 약 0.0320, Section 5는 약 0.0308의 점수를 받았습니다.

확장성

이 설계의 묘미는 모듈성에 있습니다. 각 검색 인덱스가 동일한 인터페이스(add_document()와 search())를 구현하기 때문에, 새로운 검색 방법론을 시스템에 쉽게 추가할 수 있습니다. 서로 다른 임베딩 모델이든, 특화된 도메인 검색이든, 그 밖의 다른 검색 기법이든, 정해진 API를 따르기만 한다면 하이브리드 파이프라인에 매끄럽게 통합됩니다.

Retriever가 질문을 VectorIndex, BM25Index, 그리고 ???Index라는 세 번째 박스로 보낸 후, 두 결과 세트를 병합합니다.

이 하이브리드 검색 방식은 벡터 검색의 시맨틱 이해와 렉시컬 검색의 정밀한 키워드 매칭을 결합하고, 이를 수학적으로 탄탄한 RRF 랭킹 알고리즘을 통해 통합함으로써 검색 정확도에서 상당한 개선을 보여줍니다.