지금까지 RAG의 기본 개념, 텍스트 청킹(chunking), 임베딩에 대해 살펴봤으니, 이제 전체 RAG 파이프라인을 단계별로 살펴보겠습니다. 이 상세한 예제를 통해 실제 구현에서 모든 요소가 어떻게 맞물리는지 정확하게 확인할 수 있습니다.
1단계: 소스 텍스트 청킹하기
먼저, 소스 문서를 가져와서 관리하기 쉬운 청크(chunk)로 나눕니다. 이 예제에서는 다음 두 가지 간단한 텍스트 섹션을 사용하겠습니다:
- 섹션 1: 의학 연구 - "올해는 이전에 본 적 없는 '벌레(bug)'인 XDR-47에 대한 이해에서 상당한 진전이 있었습니다."
- 섹션 2: 소프트웨어 엔지니어링 - "이 부서는 분산 시스템 내 다양한 감염 경로(infection vectors)를 연구하는 데 상당한 노력을 기울였습니다"
2단계: 임베딩 생성하기
다음으로, 각 텍스트 청크를 숫자로 된 임베딩으로 변환합니다. 이해를 돕기 위해, 항상 정확히 두 개의 숫자를 반환하는 완벽한 임베딩 모델이 있고, 각 숫자가 무엇을 의미하는지 알고 있다고 가정해 보겠습니다:

이 가상 모델에서는:
- 첫 번째 숫자: 텍스트가 의학에 대해 얼마나 많이 다루는지
- 두 번째 숫자: 텍스트가 소프트웨어 엔지니어링에 대해 얼마나 많이 다루는지
따라서 의학 연구 섹션은 [0.97, 0.34]를 얻습니다 - 매우 의학적이지만, "bug"라는 단어 때문에 소프트웨어와도 약간 관련이 있습니다. 소프트웨어 엔지니어링 섹션은 [0.30, 0.97]을 얻습니다 - 매우 소프트웨어 중심이지만, "감염 경로(infection vectors)"는 의학적 함의를 가지고 있습니다.
정규화(Normalization)
이러한 임베딩을 저장하기 전에, 각 벡터의 크기가 1.0이 되도록 스케일을 조정하는 정규화 과정을 거칩니다. 이는 일반적으로 임베딩 API에서 자동으로 처리되지만, 이 과정이 일어난다는 점을 이해하는 것이 중요합니다.

정규화 후, 임베딩은 [0.944, 0.331]과 [0.295, 0.955]가 됩니다. 두 점이 모두 원의 가장자리에 정확히 위치하는 단위원 상에서 이를 시각화할 수 있습니다.

3단계: 벡터 데이터베이스에 저장하기
정규화된 임베딩은 벡터 데이터베이스에 저장됩니다 - 벡터 데이터베이스는 우리의 임베딩과 같은 긴 숫자 목록을 저장, 비교, 검색하는 데 최적화된 전문 데이터베이스입니다.

이 시점에서 잠시 멈춰보겠습니다. 지금까지의 모든 작업은 미리 수행되는 전처리 과정입니다. 이제 사용자가 쿼리를 제출하기를 기다립니다.
4단계: 사용자 쿼리 처리하기
사용자가 "회사에 대해 궁금합니다. 특히 소프트웨어 엔지니어링 부서는 올해 무엇을 했나요?"와 같은 질문을 하면, 동일한 임베딩 모델을 통해 사용자의 쿼리를 처리합니다.

이 쿼리는 [0.1, 0.89]로 임베딩됩니다 - 낮은 의학 점수, 높은 소프트웨어 엔지니어링 점수입니다. 정규화 후에는 [0.112, 0.993]이 됩니다.
5단계: 유사한 임베딩 찾기
이제 벡터 데이터베이스에 "이 사용자 쿼리 임베딩과 가장 가까운 저장된 임베딩을 찾아주세요"라고 요청합니다. 데이터베이스는 가장 유사한 소프트웨어 엔지니어링 섹션을 반환합니다.

그런데 데이터베이스는 어떻게 "가장 가까움"을 판단할까요? 코사인 유사도(cosine similarity)를 사용합니다.
코사인 유사도(Cosine Similarity)
벡터 데이터베이스는 벡터 사이의 각도에 대한 코사인 값을 계산하여 유사도를 측정합니다. 이는 -1에서 1 사이의 숫자를 제공합니다:

- 1.0 = 벡터가 정확히 같은 방향을 가리킴 (매우 유사함)
- 0.0 = 벡터가 수직임 (관련 없음)
- -1.0 = 벡터가 반대 방향을 가리킴 (매우 다름)
우리 예제에서:
- 사용자 쿼리 대 소프트웨어 엔지니어링: 코사인 유사도 = 0.983 (매우 유사함!)
- 사용자 쿼리 대 의학 연구: 코사인 유사도 = 0.398 (덜 유사함)
코사인 거리(Cosine Distance)
벡터 데이터베이스 문서에서 "코사인 거리"라는 용어를 자주 보게 될 것입니다. 이는 단순히 1 - 코사인 유사도로, 숫자가 작을수록 더 유사하다는 의미가 되도록 척도를 뒤집은 것입니다:
- 0.0 = 매우 유사함
- 1.0 = 수직
- 2.0 = 완전히 반대
6단계: 최종 프롬프트 구성하기
마지막으로, 사용자의 질문과 가장 관련성이 높은 텍스트 청크(소프트웨어 엔지니어링 섹션)를 가져와서 Claude를 위한 프롬프트로 결합합니다:

Answer the user's question about the financial document.
<user_question>
How many bugs did engineers fix this year?
</user_question>
<report>
## Section 2: Software Engineering
This division dedicated significant effort to studying various infection vectors in our distributed systems
</report>이것으로 전체 RAG 파이프라인이 완성되었습니다! 이 시스템은 사용자의 소프트웨어 엔지니어링 질문과 가장 관련성이 높은 컨텍스트를 성공적으로 찾아내어 Claude에게 제공함으로써 정보에 기반한 응답을 생성할 수 있게 했습니다.
이 과정은 사용자가 쿼리를 제출할 때마다 자동으로 일어나며, 이를 통해 Claude는 일반적인 학습 지식뿐만 아니라 여러분의 특정 문서를 기반으로 질문에 답변할 수 있습니다.