読み込み中

テキストチャンキング戦略

レッスン 3410 分
読み込み中

テキストチャンキングは、RAG(Retrieval Augmented Generation)パイプラインを構築する上で最も重要なステップの1つです。ドキュメントをどのように分割するかは、システム全体の品質に直接影響します。チャンキング戦略が不適切だと、プロンプトに無関係なコンテキストが挿入され、AIがまったく見当違いの回答をしてしまう原因になります。

1つの元ドキュメント(年次財務報告書)から矢印が伸び、「Chunk #1」から「Chunk #6」とラベル付けされた6つのボックスにつながっている図。

次の例を考えてみましょう。医療研究とソフトウェアエンジニアリングに関するセクションを持つドキュメントがあるとします。チャンキングが不適切だと、「今年エンジニアは何件のバグを修正しましたか?」と尋ねたユーザーは、医療研究セクションがたまたま別の文脈で「bug」という単語を含んでいたというだけの理由で、ソフトウェアエンジニアリングではなく医療研究に関する情報を受け取ってしまう可能性があります。

出力されたチャンクのうち、医療研究セクションは「bug」について述べており、ソフトウェアエンジニアリングセクションは「infection vectors」について述べている図。

この例は、チャンキング戦略がいかに重要であるかを示しています。目標は、意味的なまとまりを維持し、取得された際に有用なコンテキストを提供できるチャンクを作成することです。

ユーザーの質問と、XDR-47を「bug」と呼んでいるドキュメントのチャンクが、プロンプトのuser_questionタグとreportタグに入る図。

3つの主要なチャンキング戦略

サイズベースはコンテキストのためにオーバーラップを追加し、構造ベースは既知の構造を必要とし、セマンティックベースはコストがかかるがより関連性が高い。

テキストをチャンクに分割するための主要なアプローチは3つあります。

  • サイズベース: テキストを等しい長さの文字列に分割する
  • 構造ベース: ドキュメントの構造(見出し、段落、セクション)に基づいて分割する
  • セマンティックベース: NLP技術を使用して関連する文や セクションをグループ化する

サイズベースのチャンキング

サイズベースのチャンキングは最も単純なアプローチです。ドキュメントを、文字数または単語数がほぼ等しいチャンクに単純に分割します。実装が簡単で、さまざまなドキュメントタイプに対して確実に機能します。

325文字のドキュメントが約108文字の3つのチャンクに分割され、「signific」と「ant」のように単語が途中で切られている図。

ただし、このアプローチには明確な欠点があります。

  • 単語が文の途中で切れてしまう
  • チャンクが周囲のテキストから重要なコンテキストを失う
  • 関連するコンテンツが複数のチャンクにまたがって分割される可能性がある

サイズベースの3つのチャンクが単語の途中で切られている図。1つ目は「signific」で終わり、2つ目は「ant strides」で始まり、3つ目は「ng」で始まる。

オーバーラップの追加

このコンテキストの問題に対処するため、オーバーラップ戦略を実装できます。各チャンクは隣接するチャンクから一部の文字を含むようにし、追加のコンテキストを提供するとともに、チャンクの境界で重要な情報が失われないようにします。

オーバーラップが元ドキュメント内のチャンクを広げ、出力チャンクがSection 1とSection 2の見出し全体を保持している図。

これによりある程度の重複が生じますが、各チャンクが得られるコンテキストの改善を考えれば、このトレードオフは通常その価値があります。

構造ベースのチャンキング

ドキュメントが一貫したフォーマット(明確な見出しを持つmarkdownなど)を持っている場合、構造ベースのチャンキングは優れた結果を生み出すことができます。見出しなどの構造的な要素で分割し、ドキュメントの自然な構成に沿ったチャンクを作成します。

元ドキュメントがmarkdownの見出しで3つのチャンク(冒頭の行、Medical Research、Software Engineering)に分割されている図。

これはよくフォーマットされたドキュメントに対しては見事に機能しますが、ドキュメント構造に関する保証が必要です。プレーンテキストファイルや、フォーマットが一貫していないドキュメントには確実には機能しません。

実装例

実装できる3つの実用的なチャンキング関数を紹介します。

文字ベースのチャンキング

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

文ベースのチャンキング

python
import re

def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

セクションベースのチャンキング

python
def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

適切な戦略の選択

チャンキング戦略の選択は、完全にあなたの具体的なユースケースに依存します。

  • 文字ベース: 最も信頼性の高いフォールバックで、どのようなドキュメントタイプにも対応できる
  • 文ベース: 文章に対してコンテキストと意味のバランスが良い
  • セクションベース: 構造化されたドキュメントがある場合に優れた結果が得られる

フォーマットの保証がないユーザーがアップロードしたドキュメントに対しては、文字ベースのチャンキングがしばしば最も安全な選択肢です。よく構造化された社内ドキュメントに対しては、セクションベースのチャンキングがより優れた結果をもたらすことがあります。文ベースのチャンキングはほとんどの文章に対してうまく機能しますが、予期しない形でピリオドを使用するコードや技術文書では苦戦することがあります。

チャンキングはしばしば反復的なプロセスであることを覚えておいてください。まずシンプルなアプローチから始め、特定のドキュメントとユースケースでテストし、そしてRAGシステムから得られる結果の品質に基づいて改良していきましょう。