読み込み中

テキスト埋め込み

レッスン 367 分
読み込み中

ドキュメントからテキストチャンクを抽出した後、RAGパイプラインの次のステップは、ユーザーの質問に最も関連性の高いチャンクを見つけることです。これは本質的に検索の問題です。すべてのチャンクを調べて、ユーザーが尋ねている内容に関連するものを特定する必要があります。

「今年、エンジニアは何件のバグを修正しましたか?」という質問とチャンクが、user_questionタグとreportタグを持つプロンプトに供給される様子。

関連するチャンクを見つけるための最も一般的なアプローチはセマンティック検索です。従来のキーワードベースの検索とは異なり、セマンティック検索ではテキスト埋め込みを使用して、ユーザーの質問と各テキストチャンクの実際の意味を理解します。これにより、正確な単語が一致しない場合でも、概念的に関連するコンテンツを見つけることができます。

"今年、エンジニアは何件のバグを修正しましたか?"という質問の下に、「bug」という単語を含む医療系チャンクと、感染経路に関するソフトウェア系チャンクがある様子。

テキスト埋め込みとは何か

テキスト埋め込みとは、あるテキストに含まれる意味を数値で表現したものです。単語や文章を、コンピューターが数学的に扱える形式に変換すると考えてください。

埋め込みモデルが「I'm very happy today!」、「That movie wasn't great」、「abcd」のそれぞれを数字のリストに変換する様子。

処理の流れは次のとおりです。

  • テキストを埋め込みモデルに入力する
  • モデルが長い数字のリスト(埋め込み)を出力する
  • 各数字は-1から+1の範囲にある
  • これらの数字は、入力テキストのさまざまな性質や特徴を表している

数字を理解する

埋め込み内の各数字は、基本的に入力テキストの何らかの性質に対する「スコア」です。ただし、ここで重要な注意点があります。それは、それぞれの数字が具体的に何を表しているのかを、私たちは実際には知らないということです。

矢印が埋め込みの数字にラベルを付けている様子:テキストがどれくらい「幸せ」か「フォーマル」か、また果物、海、運転についてどれくらい言及しているか。

ある数字は「テキストがどれほど幸せな内容か」を表し、別の数字は「テキストがどれほど海について語っているか」を表していると想像すると理解しやすいですが、これらはあくまで概念的な例にすぎません。埋め込みモデルは訓練中にこれらの特徴を学習しますが、それらは明示的にラベル付けされているわけではなく、私たちにとって解釈可能なものでもありません。

このような不透明さにもかかわらず、埋め込みは異なるテキスト同士を数学的に比較できる形で意味的な意味を捉えるため、非常に強力です。

Vertex AIにおける埋め込み

Claudeは埋め込みを直接生成することはできません。代わりに、専用の埋め込みモデルを使用する必要があります。Vertex AIでは、使用するモデルはtext-embedding-005と呼ばれます。

「I'm very happy today!」、「That movie wasn't great」、「abcd」という3つの入力がそれぞれ数字のリストに変換される様子。

実装

Vertex AIで埋め込みを扱うには、Google GenAI SDKをインストールする必要があります。

bash
pip install google-genai

以下は、埋め込みを生成するための基本的なセットアップです。

python
from google import genai

client = genai.Client(
    project="YOUR_PROJECT_ID", 
    location="global", 
    vertexai=True
)

def generate_embedding(text):
    response = client.models.embed_content(
        model="text-embedding-005", 
        contents=text
    )
    
    if not response.embeddings:
        return []
    
    return [e.values for e in response.embeddings]

この関数をテキストチャンクと共に実行すると、そのテキストの意味的な内容を表す浮動小数点数のリストが返ってきます。これらの埋め込みは、RAGシステムでセマンティック検索を実装するための基盤となります。

次のステップは、これらの埋め込みを実際にどう使ってユーザーの質問に最も関連性の高いチャンクを見つけるかを理解することであり、これには埋め込みを数学的に比較して類似度を判定することが含まれます。