로드 중
로드 중

문서를 청크로 나눈 후, RAG 파이프라인의 다음 단계는 사용자의 질문과 가장 관련 있는 청크를 찾는 것입니다. 이는 본질적으로 검색 문제입니다 - 모든 텍스트 청크를 살펴보고 사용자가 묻고자 하는 내용과 관련된 청크를 식별해야 합니다.

사용자 질문 "How many bugs did engineers fix this year?"와 세 개의 텍스트 청크, 그 중 하나는 XDR-47을 "bug"라고 부릅니다.

관련 청크를 찾는 가장 일반적인 방법은 의미 기반 검색(semantic search)입니다. 정확한 단어 일치를 찾는 키워드 기반 검색과 달리, 의미 기반 검색은 텍스트 임베딩을 사용하여 사용자의 질문과 각 텍스트 청크의 의미와 맥락을 이해합니다.

"How many bugs did engineers fix this year?"가 "bug"라는 단어가 있는 의료 청크와 감염 경로에 관한 소프트웨어 청크 위에 표시됩니다.

텍스트 임베딩

텍스트 임베딩은 특정 텍스트에 담긴 의미를 수치로 표현한 것입니다. 단어와 문장을 컴퓨터가 수학적으로 다룰 수 있는 형식으로 변환한다고 생각하면 됩니다.

"I'm very happy today!", "That movie wasn't great", "abcd"가 각각 0.279, -0.05와 같은 숫자 목록으로 변환됩니다.

과정은 다음과 같이 작동합니다:

  • 텍스트를 임베딩 모델에 입력합니다
  • 모델이 긴 숫자 목록(임베딩)을 출력합니다
  • 각 숫자는 -1에서 +1 사이의 범위를 갖습니다
  • 이 숫자들은 입력 텍스트의 다양한 속성이나 특징을 나타냅니다

숫자 이해하기

임베딩의 각 숫자는 본질적으로 입력 텍스트의 어떤 속성에 대한 "점수"입니다. 하지만 여기서 중요한 주의 사항이 있습니다: 각 숫자가 정확히 무엇을 나타내는지는 알 수 없습니다.

화살표가 임베딩의 개별 숫자를 텍스트가 얼마나 "격식 있는지", 과일에 대해 얼마나 많이 이야기하는지와 같은 점수로 표시합니다.

하나의 숫자가 "텍스트가 얼마나 행복한지" 또는 "텍스트가 바다에 대해 얼마나 이야기하는지"를 나타낸다고 상상하는 것이 도움이 될 수 있지만, 이는 단지 개념적인 예시일 뿐입니다. 각 차원의 실제 의미는 모델이 학습 과정에서 습득한 것이며, 인간이 직접 해석할 수 있는 것이 아닙니다.

임베딩을 위한 VoyageAI

Anthropic은 현재 임베딩 생성 기능을 제공하지 않으므로, 권장되는 제공업체는 VoyageAI입니다. 다음 작업이 필요합니다:

  • 별도의 VoyageAI 계정에 가입합니다
  • API 키를 발급받습니다 (무료로 시작 가능)
  • 환경 변수에 키를 추가합니다

편집기에서 열린 .env 파일에 ANTHROPIC_API_KEY와 VOYAGE_API_KEY 두 줄이 있으며, 각각 "MY_KEY"로 설정되어 있습니다.

.env 파일에 다음을 추가하세요:

bash
VOYAGE_API_KEY="your_key_here"

구현

먼저 VoyageAI 라이브러리를 설치합니다:

bash
%pip install voyageai

그런 다음 클라이언트를 설정하고 임베딩을 생성하는 함수를 만듭니다:

python
from dotenv import load_dotenv
import voyageai

load_dotenv()
client = voyageai.Client()

def generate_embedding(text, model="voyage-3-large", input_type="query"):
    result = client.embed([text], model=model, input_type=input_type)
    return result.embeddings[0]

report.md를 읽어 섹션별로 청크화하고 첫 번째 청크를 임베딩하는 노트북 셀, 출력은 -0.054, 0.015로 시작합니다.

텍스트 청크에 대해 이 함수를 실행하면 임베딩을 나타내는 부동 소수점 숫자 목록을 얻게 됩니다. 이 과정 자체는 빠르고 간단합니다 - 진짜 어려운 부분은 RAG 파이프라인에서 가장 관련성 높은 콘텐츠를 찾기 위해 이러한 임베딩을 효과적으로 활용하는 방법을 이해하는 것입니다.

report.md의 첫 번째 청크를 임베딩하는 노트북 셀, 출력은 -0.054, 0.015로 시작하는 긴 소수 목록입니다.

다음 단계는 임베딩을 비교하여 어떤 청크가 사용자의 질문과 가장 유사한지 판단하는 방법을 배우는 것이며, 이는 의미 기반 검색 과정의 핵심을 이룹니다.