로드 중

Retrieval Augmented Generation 소개

강의 333분
로드 중

Retrieval Augmented Generation(RAG)은 대용량 문서를 더 작은 조각으로 나누고 각 질문에 가장 관련성이 높은 청크만 Claude에 제공함으로써 대용량 문서 작업을 돕는 기법입니다. 800페이지에 달하는 전체 재무 보고서로 모델을 압도하는 대신, RAG를 사용하면 특정 질문에 답하는 데 중요한 섹션만 추출할 수 있습니다.

대용량 문서의 문제점

방대한 문서를 가지고 있고 Claude에게 그에 관한 구체적인 질문을 하고 싶을 때, 여러분은 근본적인 과제에 직면합니다: 한계에 부딪히거나 성능을 저하시키지 않으면서 올바른 정보를 Claude에게 어떻게 전달할 것인가?

Executive Summary, Risk Factors, Future Outlook과 같은 섹션으로 구성된 비공개 800페이지 이상의 재무 보고서.

긴 재무 문서에 대해 "이 회사의 위험 요인은 무엇입니까?"라고 질문하는 경우를 생각해 보세요. 문서에는 답이 포함되어 있지만, Claude가 여러분을 돕기 위해서는 관련 콘텐츠에 접근할 수 있어야 합니다.

옵션 1: 프롬프트에 모든 내용 포함하기

가장 간단한 접근 방식은 문서에서 모든 텍스트를 추출하여 하나의 프롬프트에 전부 집어넣는 것입니다:

"금융 문서에 대한 사용자의 질문에 답변하세요."라는 프롬프트와 financial_document 태그 안에 포함된 전체 보고서.

이 방법에는 심각한 한계가 있습니다:

  • 엄격한 토큰 제한으로 인해 매우 긴 문서는 애초에 들어가지 않을 수 있습니다
  • 프롬프트가 지나치게 길어지면 Claude의 효율이 떨어집니다
  • 프롬프트가 커질수록 비용이 더 많이 들고 처리 시간도 더 오래 걸립니다
  • 처리해야 할 정보가 너무 많으면 성능이 저하됩니다

옵션 2: 문서를 청크로 분할하기

RAG는 문서를 관리하기 쉬운 단위로 전처리한 다음, 각 질문에 관련된 청크만 검색하는 더 스마트한 접근 방식을 취합니다.

"Auditor's Report", "Key Performance Indicators", "Market Data"와 같은 여섯 개의 청크로 분할된 재무 보고서.

작동 방식은 다음과 같습니다:

  1. 문서를 더 작은 청크(Strategy Outlook, Risk Factors, Balance Sheet 등)로 분할합니다
  2. 사용자가 질문을 하면 사용자가 찾고 있는 것이 무엇인지 분석합니다
  3. 질문과 가장 관련성이 높은 청크를 찾습니다
  4. Claude에게 전달하는 프롬프트에는 관련 청크만 포함합니다

사용자의 질문과 여섯 개 중 관련 청크만 user_question 및 financial_document 태그와 함께 프롬프트에 포함됩니다.

회사의 위험에 관한 질문이라면, 시스템은 "Risk Factors" 청크를 식별하고 검색하여 전체 문서가 아닌 Claude에게 집중되고 관련성 있는 컨텍스트를 제공합니다.

RAG의 이점

  • Claude는 가장 관련성 높은 콘텐츠에만 집중할 수 있습니다
  • 매우 큰 문서와 여러 문서로 확장할 수 있습니다
  • 단일 파일뿐만 아니라 문서 모음 전체에서도 작동합니다
  • 더 작은 프롬프트는 더 빠른 처리와 더 낮은 비용을 의미합니다

RAG의 과제

RAG는 여러분이 관리해야 할 복잡성을 수반합니다:

  • 문서를 청크로 나누는 전처리 단계가 필요합니다
  • 관련 청크를 찾기 위한 검색 메커니즘이 필요합니다
  • 검색된 청크가 필요한 모든 컨텍스트를 포함하지 않을 수 있습니다
  • 텍스트를 청크로 나누는 방법은 매우 다양합니다 - 어떤 접근 방식이 가장 효과적일까요?

문서는 동일한 분량 단위로, 헤더와 섹션 기준으로, 의미 단위로, 또는 기타 전략으로 청크화할 수 있습니다. 각 접근 방식에는 여러분의 특정 사용 사례에 맞게 평가해야 할 트레이드오프가 있습니다.

RAG를 사용해야 할 때

RAG는 사용자가 콘텐츠의 일부만 필요로 하는 구체적인 질문을 하는 대용량 문서나 문서 모음을 다룰 때 그 진가를 발휘합니다. 단일 프롬프트에 담을 수 있는 범위를 넘어서 확장해야 할 때, 더 빠른 응답을 원할 때, 또는 많은 쿼리에 걸쳐 비용을 관리해야 할 때 전처리의 복잡성은 그만한 가치가 있습니다.

핵심은 청크화, 검색, 검색 결과 반영을 구현하는 기술적 오버헤드가 여러분의 특정 애플리케이션에 적합한지를 분석하는 것입니다. 때로는 "모든 것을 프롬프트에 넣는" 단순한 접근 방식으로도 충분하지만, 다른 경우에는 시스템을 실용적이고 성능 좋게 만들기 위해 RAG가 필수적입니다.