로드 중
로드 중

텍스트 청킹(chunking)은 RAG(검색 증강 생성, Retrieval Augmented Generation) 파이프라인을 구축할 때 가장 중요한 단계 중 하나입니다. 문서를 어떻게 나누느냐는 전체 시스템의 품질에 직접적인 영향을 미칩니다. 잘못된 청킹 전략은 프롬프트에 관련 없는 컨텍스트가 삽입되는 결과를 초래할 수 있으며, 이는 AI가 완전히 잘못된 답변을 내놓게 만들 수 있습니다.

하나의 소스 문서인 연례 재무 보고서에서 "Chunk #1"부터 "Chunk #6"까지 라벨이 붙은 여섯 개의 박스로 화살표가 이어지는 모습.

다음 예시를 생각해 보세요: 의학 연구와 소프트웨어 엔지니어링에 관한 섹션이 있는 문서가 있다고 합시다. 청킹을 제대로 하지 않으면, "올해 엔지니어들이 고친 버그는 몇 개인가요?"라고 묻는 사용자가 소프트웨어 엔지니어링이 아니라 의학 연구에 관한 정보를 받게 될 수 있습니다. 단순히 의학 섹션에 "bug"라는 단어가 다른 맥락에서 우연히 포함되어 있었기 때문입니다.

출력된 청크에서 의학 연구 섹션은 "버그"를, 소프트웨어 엔지니어링 섹션은 "감염 경로"를 언급하는 모습.

이는 청킹 전략이 왜 그토록 중요한지를 보여줍니다. 목표는 의미적 일관성을 유지하고, 검색되었을 때 유용한 컨텍스트를 제공하는 청크를 만드는 것입니다.

사용자의 질문과 XDR-47을 "버그"라고 부르는 문서의 한 청크가 프롬프트의 user_question과 report 태그에 들어가는 모습.

세 가지 주요 청킹 전략

크기 기반은 컨텍스트를 위해 오버랩을 추가하고, 구조 기반은 알려진 구조가 필요하며, 의미 기반은 비용이 들지만 더 관련성이 높습니다.

텍스트를 청크로 나누는 데에는 세 가지 주요 접근 방식이 있습니다:

  • 크기 기반(Size-based): 텍스트를 동일한 길이의 문자열로 나눕니다
  • 구조 기반(Structure-based): 문서 구조(헤더, 단락, 섹션)를 기준으로 분할합니다
  • 의미 기반(Semantic-based): NLP 기법을 사용하여 관련된 문장이나 섹션을 그룹화합니다

크기 기반 청킹

크기 기반 청킹은 가장 단순한 접근 방식입니다. 문서를 대략 동일한 문자 수 또는 단어 수의 청크로 나누기만 하면 됩니다. 구현하기 쉽고 다양한 문서 유형에서 안정적으로 작동합니다.

325자 문서를 약 108자씩 3개의 청크로 나누면서 "signific" 다음에 "ant"가 오는 것처럼 단어가 둘로 잘리는 모습.

그러나 이 접근 방식에는 분명한 단점이 있습니다:

  • 단어가 문장 중간에서 잘립니다
  • 청크가 주변 텍스트에서 중요한 컨텍스트를 잃습니다
  • 관련된 내용이 여러 청크에 걸쳐 분할될 수 있습니다

단어 중간에서 잘린 세 개의 크기 기반 청크: "signific"으로 첫 번째 청크가 끝나고, "ant strides"로 두 번째 청크가 시작되며, "ng"로 세 번째 청크가 시작됩니다.

오버랩 추가하기

컨텍스트 문제를 해결하기 위해 오버랩 전략을 구현할 수 있습니다. 각 청크는 인접한 청크의 일부 문자를 포함하여 추가적인 컨텍스트를 제공하고 청크 경계에서 중요한 정보가 손실되지 않도록 보장합니다.

오버랩이 소스 문서에서 청크를 넓혀서 출력 청크가 Section 1과 Section 2 헤더 전체를 유지하는 모습.

이는 어느 정도의 중복을 만들어내지만, 각 청크가 얻는 향상된 컨텍스트를 생각하면 대개 그만한 가치가 있습니다.

구조 기반 청킹

문서가 일관된 형식(예: 명확한 헤더가 있는 마크다운)을 갖추고 있다면, 구조 기반 청킹은 뛰어난 결과를 낼 수 있습니다. 헤더와 같은 구조적 요소를 기준으로 분할하여 문서의 자연스러운 구성에 맞는 청크를 생성합니다.

마크다운 헤더를 기준으로 소스 문서가 세 개의 청크로 분할되는 모습: 도입부, Medical Research, Software Engineering.

이는 잘 정돈된 형식의 문서에서는 훌륭하게 작동하지만, 문서 구조에 대한 보장이 필요합니다. 일반 텍스트 파일이나 형식이 일관되지 않은 문서에서는 안정적으로 작동하지 않습니다.

구현 예시

여기 구현할 수 있는 세 가지 실용적인 청킹 함수가 있습니다:

문자 기반 청킹

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

문장 기반 청킹

python
import re

def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

섹션 기반 청킹

python
def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

올바른 전략 선택하기

청킹 전략의 선택은 전적으로 특정 사용 사례에 달려 있습니다:

  • 문자 기반: 가장 신뢰할 수 있는 대안으로, 어떤 문서 유형에도 작동합니다
  • 문장 기반: 산문에 대해 컨텍스트와 의미의 균형이 좋습니다
  • 섹션 기반: 구조화된 문서가 있을 때 뛰어난 결과를 제공합니다

형식에 대한 보장이 없는 사용자 업로드 문서의 경우, 문자 기반 청킹이 대체로 가장 안전한 선택입니다. 구조가 잘 갖춰진 내부 문서의 경우, 섹션 기반 청킹이 더 뛰어난 결과를 제공할 수 있습니다. 문장 기반 청킹은 대부분의 산문에는 잘 작동하지만, 마침표를 예상치 못한 방식으로 사용하는 코드나 기술 문서에서는 어려움을 겪을 수 있습니다.

청킹은 대개 반복적인 과정이라는 점을 기억하세요. 단순한 접근 방식으로 시작하여 특정 문서와 사용 사례로 테스트한 다음, RAG 시스템에서 얻는 결과의 품질을 바탕으로 개선해 나가세요.