로드 중
로드 중

이제 RAG, 텍스트 청킹, 임베딩의 기본을 살펴봤으니, 전체 RAG 파이프라인을 단계별로 살펴보겠습니다. 이 상세한 예제를 통해 실제 구현에서 모든 구성 요소가 어떻게 맞물리는지 정확히 확인할 수 있습니다.

1단계: 소스 텍스트 청킹하기

먼저, 소스 문서를 가져와서 관리하기 쉬운 청크로 나눕니다. 이 예제에서는 두 개의 간단한 텍스트 섹션을 사용하겠습니다:

  • 섹션 1: 의학 연구 - "올해는 이전에 본 적 없는 '버그'인 XDR-47에 대한 이해에서 상당한 진전이 있었습니다."
  • 섹션 2: 소프트웨어 엔지니어링 - "이 부서는 분산 시스템 내 다양한 감염 경로를 연구하는 데 상당한 노력을 기울였습니다"

2단계: 임베딩 생성하기

다음으로, 각 텍스트 청크를 숫자 임베딩으로 변환합니다. 이 개념을 명확히 하기 위해, 항상 정확히 두 개의 숫자를 반환하는 완벽한 임베딩 모델이 있고, 각 숫자가 무엇을 의미하는지 알고 있다고 가정해 보겠습니다:

두 텍스트 청크가 가상의 임베딩 모델을 통과하며, 화살표가 의학 및 소프트웨어 엔지니어링 숫자를 표시합니다.

이 가상의 모델에서:

  • 첫 번째 숫자: 텍스트가 의학 분야에 대해 얼마나 이야기하는지
  • 두 번째 숫자: 텍스트가 소프트웨어 엔지니어링에 대해 얼마나 이야기하는지

따라서 우리의 의학 연구 섹션은 [0.97, 0.34]라는 임베딩을 얻습니다 - 매우 의학적이지만, "버그"라는 단어 때문에 소프트웨어와도 다소 관련이 있습니다. 소프트웨어 엔지니어링 섹션은 [0.30, 0.97]을 얻습니다 - 매우 소프트웨어 중심이지만, "감염 경로"는 의학적 의미를 가지고 있습니다.

정규화

이러한 임베딩을 저장하기 전에, 각 벡터의 크기를 1.0으로 조정하는 정규화 과정을 거칩니다. 이 과정은 일반적으로 임베딩 API가 자동으로 처리하지만, 이런 일이 일어난다는 것을 이해하는 것이 중요합니다.

의학 및 소프트웨어 임베딩이 각 쌍의 크기가 1.0이 되도록 조정되어, 아래와 같은 정규화된 값을 제공합니다.

정규화 후, 우리의 임베딩은 [0.944, 0.331]과 [0.295, 0.955]가 됩니다. 각 점이 원의 가장자리에 정확히 위치하는 단위 원 위에서 이것들을 시각화할 수 있습니다.

의학 및 소프트웨어 축이 있는 단위 원과 의학 연구 및 소프트웨어 엔지니어링을 향한 길이 1.0의 화살표.

3단계: 벡터 데이터베이스에 저장하기

정규화된 임베딩은 벡터 데이터베이스에 저장됩니다 - 벡터 데이터베이스는 우리의 임베딩과 같은 긴 숫자 목록을 저장, 비교, 검색하는 데 최적화된 전문 데이터베이스입니다.

의학 연구 임베딩 "0.944, 0.331"과 소프트웨어 엔지니어링 임베딩 "0.295, 0.955"가 벡터 데이터베이스로 입력됩니다.

이 시점에서 우리는 잠시 멈춥니다. 지금까지의 모든 작업은 미리 이루어지는 전처리였습니다. 이제 사용자가 쿼리를 제출하기를 기다립니다.

4단계: 사용자 쿼리 처리하기

사용자가 "회사에 대해 궁금한데요. 특히, 소프트웨어 엔지니어링 부서는 올해 무엇을 했나요?"와 같은 질문을 하면, 동일한 임베딩 모델을 통해 그들의 쿼리를 실행합니다.

가상의 임베딩 모델이 사용자 질문을 의학 분야 0.1, 소프트웨어 엔지니어링 0.89로 임베딩합니다.

이 쿼리는 [0.1, 0.89]로 임베딩됩니다 - 낮은 의학 점수, 높은 소프트웨어 엔지니어링 점수. 정규화 후, 이것은 [0.112, 0.993]이 됩니다.

5단계: 유사한 임베딩 찾기

이제 벡터 데이터베이스에게 다음과 같이 묻습니다: "이 사용자 쿼리 임베딩과 가장 가까운 저장된 임베딩을 찾아라." 데이터베이스는 가장 유사하기 때문에 소프트웨어 엔지니어링 섹션을 반환합니다.

사용자 쿼리 벡터 "0.1, 0.89"가 벡터 데이터베이스로 전달되고, 소프트웨어 엔지니어링 섹션에 대한 "0.295, 0.955"를 반환합니다.

유사도 작동 방식: 코사인 유사도

벡터 데이터베이스는 어떤 임베딩이 가장 유사한지 판단하기 위해 코사인 유사도를 사용합니다. 이것은 두 벡터 사이의 각도의 코사인을 측정합니다.

사용자 쿼리 벡터가 소프트웨어 엔지니어링과 0.983, 의학 연구와 0.398의 점수를 얻는 코사인 유사도 슬라이드.

코사인 유사도에 관한 핵심 포인트:

  • 결과는 -1에서 1 사이의 범위를 가집니다
  • 1에 가까운 값은 매우 유사함을 의미합니다
  • 0에 가까운 값은 수직(관련 없음)을 의미합니다
  • -1에 가까운 값은 완전히 반대임을 의미합니다

계산에는 내적 공식이 사용됩니다: cos(a) = (A · B) / (||A|| · ||B||)

사용자 쿼리 벡터가 소프트웨어 엔지니어링과 0.983, 의학 연구와 0.398의 점수를 얻는 코사인 유사도 슬라이드.

이 예제에서, 사용자 쿼리는 소프트웨어 엔지니어링 청크와 0.983의 코사인 유사도를 가지며, 의학 연구 청크와는 0.398에 불과합니다. 소프트웨어 엔지니어링 청크가 분명히 더 나은 일치입니다.

코사인 거리

벡터 데이터베이스 문서에서 "코사인 거리"를 자주 보게 될 것입니다. 이것은 단순히 1 - 코사인 유사도로, 다음과 같이 해석하기 더 쉬운 숫자를 제공합니다:

  • 0에 가까운 값은 높은 유사도를 의미합니다
  • 더 큰 값은 더 낮은 유사도를 의미합니다

6단계: 최종 프롬프트 만들기

마지막으로, 사용자의 질문과 우리가 찾은 가장 관련성 높은 텍스트 청크를 가져와서, 이를 결합하여 Claude를 위한 프롬프트를 만듭니다:

질문 "올해 엔지니어들은 몇 개의 버그를 수정했나요?"와 소프트웨어 엔지니어링 청크가 Claude를 위한 프롬프트를 구성합니다.

이 프롬프트는 사용자의 질문과 우리 문서에서 찾은 관련 컨텍스트를 모두 포함하여, Claude가 지식 베이스의 구체적인 정보를 바탕으로 잘 알고 답변할 수 있게 해줍니다.

전체 흐름

이것이 처음부터 끝까지의 전체 RAG 파이프라인입니다:

  1. 소스 문서를 청킹합니다
  2. 각 청크에 대한 임베딩을 생성합니다
  3. 임베딩을 벡터 데이터베이스에 저장합니다
  4. 사용자가 질문을 하면, 그들의 쿼리를 임베딩합니다
  5. 코사인 유사도를 사용하여 가장 유사한 저장된 임베딩을 찾습니다
  6. 관련 청크를 사용자의 질문과 함께 프롬프트에 추가합니다
  7. 향상된 프롬프트를 Claude에 보내 응답을 받습니다

이 프로세스와 그 배후의 수학을 이해하면, 벡터 데이터베이스로 효과적으로 작업하고 RAG 시스템이 예상한 결과를 반환하지 않을 때 문제를 디버깅하는 데 도움이 될 것입니다.