이제 RAG 흐름을 개념적으로 이해했으니, 실제 예제를 사용하여 단계별로 구현해 보겠습니다. 텍스트를 청크로 나누는 것부터 사용자 쿼리에 대한 관련 문서를 찾는 것까지, RAG 프로세스의 다섯 단계를 모두 살펴보겠습니다.
벡터 데이터베이스 설정하기
이번 구현에서는 임베딩을 저장하고 검색하는 데 필요한 기본 기능을 제공하는 커스텀 VectorIndex 클래스를 사용하겠습니다. 이 클래스는 벡터 저장, 거리 계산(코사인 유사도 사용), 문서 검색을 처리합니다.
5단계 RAG 구현
RAG 프로세스의 각 단계를 살펴보겠습니다:
1단계: 섹션별로 텍스트 청크화하기
먼저, 원본 문서를 관리하기 쉬운 청크로 나누어야 합니다. 앞서 사용했던 것과 동일한 섹션 기반 청크화 방식을 사용하겠습니다:
chunks = chunk_by_section(text)이렇게 하면 report.md 파일이 개별적으로 처리할 수 있는 논리적 섹션으로 분할됩니다.
2단계: 각 청크에 대한 임베딩 생성하기
다음으로, 각 텍스트 청크를 해당 의미를 담은 숫자 임베딩으로 변환합니다:
embeddings = generate_embedding(chunks)이러한 임베딩을 통해 서로 다른 텍스트 조각 간의 수학적 비교가 가능해집니다.
3단계: 벡터 데이터베이스에 임베딩 저장하기
이제 벡터 저장소를 생성하고 임베딩과 관련 텍스트로 채워보겠습니다:
store = VectorIndex()
for embedding, chunk in zip(embeddings, chunks):
store.add_vector(embedding, {"content": chunk})임베딩과 원본 텍스트 콘텐츠를 모두 저장한다는 점에 주목하세요. 이는 매우 중요한데, 나중에 유사한 임베딩을 검색할 때 단순한 숫자 벡터가 아니라 실제 텍스트에 접근할 수 있어야 하기 때문입니다. 개발자인 우리에게는 임베딩 자체만으로는 유용하지 않으며, 그것이 나타내는 사람이 읽을 수 있는 콘텐츠가 필요합니다.
4단계: 사용자 쿼리에 대한 임베딩 생성하기
사용자가 질문을 하면, 그 쿼리를 저장된 문서와 동일한 임베딩 공간으로 변환해야 합니다:
user_embedding = generate_embedding("What did the software engineering dept do last year?")5단계: 관련 문서 검색하기
마지막으로, 벡터 저장소를 검색하여 가장 관련성이 높은 청크를 찾습니다:
results = store.search(user_embedding, 2)
for doc, distance in results:
print(distance, "\n", doc["content"][0:200], "\n")이렇게 하면 코사인 거리 점수와 함께 가장 유사한 두 개의 청크가 반환됩니다.

위 다이어그램은 벡터 데이터베이스가 사용자 쿼리를 처리하는 방식을 보여줍니다. 질문을 하면 해당 질문은 임베딩 벡터로 변환되고, 데이터베이스는 고차원 공간에서 그 벡터와 "가장 가까운" 저장된 벡터를 찾습니다.
결과 이해하기
소프트웨어 엔지니어링 부서에 대한 쿼리로 이 예제를 실행하면 두 개의 관련 섹션을 얻게 됩니다:
- 섹션 2: 소프트웨어 엔지니어링 - Project Phoenix 안정성 개선 (거리: 0.71)
- 방법론 섹션 (거리: 0.72)
거리 점수가 낮을수록 콘텐츠가 쿼리와 더 유사하다는 의미입니다. 두 결과 모두 소프트웨어 엔지니어링 부서가 달성한 성과에 대한 우리 질문과 관련이 있습니다.
임베딩과 함께 콘텐츠를 저장하는 이유
왜 각 임베딩과 함께 원본 텍스트를 저장하는지 궁금할 수 있습니다. 그 이유는 실용적인 것입니다: 임베딩은 단순히 숫자 배열일 뿐이며 사람에게 직접적인 의미가 없습니다. 검색이 가장 유사한 임베딩을 반환할 때, 찾은 내용을 이해하고 응답을 생성하는 데 사용하려면 실제 텍스트 콘텐츠가 필요합니다.
일부 구현에서는 원본 텍스트를 가리키는 ID만 저장하기도 하지만, 간단히 하기 위해 여기서는 각 벡터와 함께 콘텐츠를 직접 저장하겠습니다.
다음 단계
이 구현은 RAG 워크플로우의 핵심을 다루지만, 여전히 개선할 수 있는 부분이 있습니다. 실제 애플리케이션에서는 이 기본적인 접근 방식이 예상대로 작동하지 않는 상황을 마주칠 수 있으며, 이후 섹션에서 그러한 개선 사항을 살펴보겠습니다.