로드 중

다중 인덱스 RAG 파이프라인

강의 408분
로드 중

시맨틱 검색(벡터 임베딩)과 어휘 검색(BM25)이 각각 독립적으로 작동하게 되면, 다음 단계는 이 둘을 통합된 검색 파이프라인으로 결합하는 것입니다. 이 하이브리드 접근 방식은 두 방법의 강점을 모두 활용하여 더 정확한 결과를 제공합니다.

INC-2023-Q4-011에 대한 사용자 질문이 시맨틱 검색과 어휘 검색을 병렬로 거친 후, 두 결과가 병합됩니다.

통합 인터페이스 만들기

두 검색 구현은 거의 동일한 API를 공유합니다. 둘 다 동일한 방식으로 작동하는 add_document()와 search() 메서드를 가지고 있습니다. 이러한 일관성 덕분에 이 둘을 단일 Retriever 클래스로 감싸는 작업이 간단해집니다.

VectorIndex와 BM25Index는 각각 텍스트 청크를 추가하는 add_document와, 청크와 점수를 반환하는 "search"를 가지고 있습니다.

Retriever는 사용자 쿼리를 두 인덱스 모두에 전달하고, 각각의 결과를 수집한 다음, 이를 하나의 순위가 매겨진 리스트로 병합하는 조정자 역할을 합니다.

Retriever의 다이어그램: 사용자 질문이 VectorIndex와 BM25Index 둘 다로 전달되고, 그 결과가 병합됩니다.

Reciprocal Rank Fusion

과제는 서로 다른 채점 체계를 사용하는 서로 다른 검색 방법의 결과를 병합하는 것입니다. 벡터 검색은 코사인 유사도 점수를 반환하는 반면, BM25는 관련성 점수를 반환하므로, 이 숫자들을 단순히 직접 합칠 수는 없습니다.

대신, Reciprocal Rank Fusion(RRF)이라는 기법을 사용합니다. 이 방법은 결과의 원점수가 아니라 순위 위치에 초점을 맞춥니다.

아래 예시를 위한 VectorIndex와 BM25Index 결과 테이블로, 각각 점수 열이 있으며 순위 1에 0.234, 0.184와 같은 값이 있습니다.

예시를 통해 작동 방식을 살펴보겠습니다. 벡터 검색이 섹션 2, 7, 6 순서로 반환하고, BM25는 섹션 6, 2, 7 순서로 반환한다고 가정해 보겠습니다. 이를 병합하려면:

VectorIndex와 BM25Index의 순위가 매겨진 결과를 각 텍스트 청크의 두 인덱스에서의 순위를 담은 하나의 테이블로 결합합니다.

먼저, 각 텍스트 청크와 두 검색 방법에서의 순위를 보여주는 표를 만듭니다:

  • 섹션 2: 벡터에서 순위 1, BM25에서 순위 2
  • 섹션 7: 벡터에서 순위 2, BM25에서 순위 3
  • 섹션 6: 벡터에서 순위 3, BM25에서 순위 1

각 섹션의 벡터 및 BM25 순위와 RRF 점수를 담은 테이블로, 점수가 높을수록 더 관련성 있는 청크임을 나타냅니다.

그런 다음 RRF 공식을 적용하여 각 청크에 대한 결합 점수를 계산합니다:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

여기서 k는 상수(일반적으로 60이지만, 더 명확한 결과를 위해 1을 사용하겠습니다)이고, rank_i(d)는 i번째 검색 결과에서 문서 d의 순위입니다.

Reciprocal Rank Fusion 공식과 세 섹션의 벡터 및 BM25 순위와 점수를 담은 테이블로, 점수가 높을수록 더 관련성 있습니다.

우리의 예시에서:

  • 섹션 2: 1.0/(1+1) + 1.0/(1+2) = 0.833
  • 섹션 7: 1.0/(1+2) + 1.0/(1+3) = 0.583
  • 섹션 6: 1.0/(1+3) + 1.0/(1+1) = 0.75

각 텍스트 청크의 벡터 순위, BM25 순위, 점수 및 최종 순위를 담은 테이블로, 점수가 높을수록 더 관련성 있습니다.

최종 순위는 다음과 같이 됩니다: 섹션 2(0.833), 섹션 6(0.75), 섹션 7(0.583). 이는 직관적으로도 타당합니다 - 섹션 2는 두 검색 모두에서 좋은 성과를 보였고, 섹션 6은 혼재된 결과를 보였으며, 섹션 7은 전체적으로 더 낮은 순위를 받았습니다.

위에서 설명한 RRF 테이블에 "최종 순위" 열을 추가하고, 점수가 높을수록 텍스트 청크가 더 관련성 있다는 메모를 담고 있습니다.

구현

Retriever 클래스 구현은 간단합니다:

인덱스 없음, 문자열이 아닌 쿼리 텍스트, 양수가 아닌 k, 음수인 k_rrf에 대해 오류를 발생시키는 노트북 속 Retriever 클래스.

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # 모든 인덱스에서 결과 가져오기
        all_results = [index.search(query_text, k) for index in self._indexes]
        
        # 상호 순위 융합(reciprocal rank fusion) 적용
        # ... 여기에 병합 로직 ...

위 코드에서 생략된 병합 로직: doc_ranks를 구성하고, calc_rrf_score를 정의한 다음, 0보다 높은 점수를 받은 문서들만 유지합니다.

병합 로직은 모든 검색 결과에 걸쳐 문서 순위를 추적하고, RRF 점수를 계산한 다음, 결합 점수에 따라 정렬된 상위 k개의 문서를 반환합니다.

하이브리드 접근 방식 테스트하기

"what happened with INC-2023-Q4-011?"라는 쿼리로 테스트할 때, 하이브리드 접근 방식은 벡터 검색 단독보다 훨씬 더 나은 결과를 제공합니다:

벡터 검색만 단독으로 사용했을 때, 거리 0.634의 섹션 10: Cybersecurity Analysis와 0.809의 섹션 3: Financial Analysis를 반환합니다.

이제 결과는 다음과 같이 올바르게 우선순위가 매겨집니다:

  1. 섹션 10: Cybersecurity Analysis(실제 인시던트 보고서)
  2. 섹션 2: Software Engineering(관련 맥락)
  3. 섹션 5: Legal Developments(관련성은 낮지만 여전히 연관됨)

노트북 출력: 섹션 10 Cybersecurity Analysis가 약 0.0325, 섹션 2가 약 0.0320, 섹션 5가 약 0.0308의 점수를 받습니다.

하이브리드 아키텍처의 이점

이 설계는 여러 가지 이점을 제공합니다:

  • 모듈형 설계: 각 검색 인덱스는 동일한 API로 독립적으로 구현됩니다
  • 쉬운 확장성: 동일한 search() 및 add_document() 인터페이스를 구현하여 새로운 검색 방법을 추가할 수 있습니다
  • 더 나은 정확도: 시맨틱 이해와 정확한 키워드 매칭을 결합합니다
  • 유연한 융합: RRF 알고리즘은 결합하는 검색 인덱스의 개수와 관계없이 작동합니다

Retriever가 질문을 VectorIndex, BM25Index, 그리고 ???Index라고 표시된 세 번째 박스로 보낸 다음, 두 결과 집합을 병합합니다.

일관된 API 덕분에 세 번째 검색 인덱스(예를 들어 개체명 인식에 특화되었거나 특정 문서 유형을 처리하는 인덱스)를 손쉽게 추가할 수 있으며, Retriever는 그 결과를 자동으로 최종 순위에 반영합니다.

Retriever의 다이어그램: 사용자 질문이 VectorIndex와 BM25Index 둘 다로 전달되고, 그 결과가 병합됩니다.

이 하이브리드 검색 기반은 둘 중 어느 한 방법만 사용할 때보다 훨씬 더 견고한 검색을 제공하여, RAG 파이프라인이 더 넓은 범위의 쿼리 유형에서 더 나은 성능을 발휘할 수 있도록 기반을 마련합니다.