로드 중
로드 중

텍스트 청킹은 RAG(Retrieval Augmented Generation) 파이프라인을 구축할 때 가장 중요한 단계 중 하나입니다. 문서를 어떻게 분할하느냐는 전체 시스템의 품질에 직접적인 영향을 미칩니다. 청킹 전략이 부실하면 관련 없는 컨텍스트가 프롬프트에 삽입되어 AI가 완전히 잘못된 답변을 내놓게 될 수 있습니다.

하나의 소스 문서, 연간 재무 보고서에서 "Chunk #1"부터 "Chunk #6"까지 라벨이 붙은 여섯 개의 박스로 화살표가 이어지는 모습.

다음 예시를 생각해 보세요. 의학 연구와 소프트웨어 엔지니어링에 관한 섹션이 있는 문서가 있다고 가정합니다. 청킹이 부실하면 "올해 엔지니어들이 몇 개의 버그를 수정했나요?"라고 묻는 사용자가 소프트웨어 엔지니어링이 아니라 의학 연구에 관한 정보를 받을 수 있는데, 이는 단지 의학 섹션에 다른 맥락에서 "bug"라는 단어가 우연히 포함되어 있었기 때문입니다.

출력된 청크에서 의학 연구 섹션은 "bug"라고 말하고 소프트웨어 엔지니어링 섹션은 "infection vectors"라고 말하는 모습.

이것이 청킹 전략이 그토록 중요한 이유를 잘 보여줍니다. 목표는 의미적 일관성을 유지하고 검색되었을 때 의미 있는 컨텍스트를 제공하는 청크를 만드는 것입니다.

사용자의 질문과 XDR-47을 "bug"라고 부르는 문서의 청크가 프롬프트의 user_question 및 report 태그에 들어가는 모습.

세 가지 주요 청킹 전략

크기 기반 방식은 컨텍스트를 위해 오버랩을 추가하고, 구조 기반 방식은 알려진 구조가 필요하며, 의미 기반 방식은 비용이 많이 들지만 더 관련성이 높습니다.

텍스트를 청킹하는 데는 세 가지 주요 접근 방식이 있으며, 각각 뚜렷한 장점과 트레이드오프가 있습니다:

  • 크기 기반(Size-based): 텍스트를 동일한 길이의 문자열로 나눕니다
  • 구조 기반(Structure-based): 문서 구조(헤더, 단락, 섹션)를 기준으로 분할합니다
  • 의미 기반(Semantic-based): NLP 기법을 사용하여 관련된 문장이나 섹션을 그룹화합니다

크기 기반 청킹

크기 기반 청킹은 가장 간단한 접근 방식입니다. 문서를 대략 동일한 문자 수 또는 단어 수를 가진 청크로 나누기만 하면 됩니다. 구현하기 쉽고 다양한 문서 유형에서 안정적으로 작동합니다.

325자 문서를 약 108자씩 3개의 청크로 분할하면서 "signific"과 "ant" 같은 단어가 중간에서 잘리는 모습.

하지만 이 접근 방식에는 분명한 단점이 있습니다. 단어가 문장 중간에서 잘리고, 청크가 중요한 컨텍스트를 잃게 됩니다. 예를 들어, 청크에 내용이 실제로 무엇에 관한 것인지 설명해 줄 섹션 헤더가 포함되지 않을 수 있습니다.

단어 중간에서 잘린 세 개의 크기 기반 청크: 첫 번째는 "signific"으로 끝나고, 두 번째는 "ant strides"로 시작하며, 세 번째는 "ng"로 시작하는 모습.

해결책은 청크 사이에 오버랩을 추가하는 것입니다. 각 청크는 인접한 청크의 일부 문자를 포함하여 더 나은 컨텍스트 보존을 보장하고 갑작스러운 단절을 방지합니다.

오버랩으로 인해 소스 문서에서 청크가 넓어져서 출력 청크가 Section 1과 Section 2 헤더 전체를 유지하는 모습.

다음은 오버랩이 있는 문자 기반 청킹의 기본 구현입니다:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

구조 기반 청킹

구조 기반 청킹은 문서의 자연스러운 구성을 활용합니다. 마크다운 파일로 작업하는 경우 헤더를 기준으로 분할할 수 있습니다. 다른 형식의 경우 단락이나 다른 구조적 요소를 기준으로 분할할 수 있습니다.

마크다운 헤더에서 세 개의 청크로 분할된 소스 문서: 시작 줄, Medical Research, Software Engineering.

이 접근 방식은 문서 구조에 대한 보장이 있을 때 훌륭하게 작동합니다. 마크다운 문서의 경우 섹션 헤더를 기준으로 분할할 수 있습니다:

python
import re

def chunk_by_section(document_text):
    pattern = r'\n## '
    return re.split(pattern, document_text)

주요 한계는 많은 문서가 일관된 구조를 가지고 있지 않다는 점입니다. 일반 텍스트 파일, PDF, 또는 사용자가 업로드한 문서에는 분할 기준으로 삼을 만한 명확한 구조적 표시가 없을 수 있습니다.

의미 기반 청킹

의미 기반 청킹은 가장 정교한 접근 방식입니다. 문장 간의 의미와 관계를 분석하여 관련된 내용을 함께 그룹화합니다. 이는 일반적으로 다음과 같은 과정을 포함합니다:

  • 텍스트를 문장으로 분할하기
  • NLP 기법을 사용하여 의미적 유사성 측정하기
  • 관련된 문장을 일관성 있는 청크로 그룹화하기

이 방법은 가장 높은 품질의 청크를 생성할 수 있지만, 계산 비용이 많이 들고 구현하기도 더 복잡합니다. 대부분의 애플리케이션에서는 더 간단한 접근 방식으로도 충분합니다.

실제 구현

다음은 좋은 절충안이 되는 문장 기반 청킹 함수입니다:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(' '.join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

올바른 전략 선택하기

청킹 전략의 선택은 전적으로 특정 사용 사례에 따라 달라집니다:

  • 일관된 문서 구조: 가장 깔끔한 결과를 위해 구조 기반 청킹을 사용하세요
  • 혼합된 문서 유형: 문장 기반 청킹이 대체로 잘 작동합니다
  • 코드 또는 기술 콘텐츠: 문자 기반 청킹이 가장 신뢰할 수 있습니다
  • 알 수 없는 문서 형식: 문자 기반 청킹이 가장 안전한 선택입니다

청킹은 흔히 반복적인 과정이라는 점을 기억하세요. 간단한 접근 방식으로 시작해서, 특정 문서와 사용 사례로 테스트한 다음, 결과를 바탕으로 개선해 나가세요. "최선의" 청킹 전략이란 바로 여러분의 특정 데이터와 요구 사항에 대해 안정적으로 작동하는 전략입니다.