AIモデルにおける知識のギャップを理解する
読み込み中
知識 · 5分
要約文字起こし
モデルは訓練中に触れたものだけを知っています。それ以外は知りません。デフォルトではリアルタイムのブラウジングはなく、実体験もなく、知識のカットオフで完全に止まります。実践的な問いは「AIはこれを知っているか?」ではなく、「これはAIが読んだものの中でどれだけよく表現されていたか?」です。
モデルが読んだもの、そして読むのをやめた時点
読み込み中
重要なポイント
- 生成AIが知っていることは完全に訓練データから来ており、知識のカットオフ時点で固定されています。ツールがなければ、その日付以降の情報にはアクセスできません。
- 能力ゾーン: 訓練データ内で頻繁に、最近(訓練期間内で)、そして一貫して出現したトピック。
- 限界ゾーン: 稀少、カットオフ後、ニッチ、ローカル、または議論の余地があるトピック。
- 特徴的な失敗: 陳腐化、不均一なカバレッジ、何が「デフォルト」や「普通」とされるかにおける継承されたバイアス、そして知識の出典を特定できないこと。
- ウェブ検索、検索(RAG/MCP)、ツール使用は、モデルが訓練されたことのない情報へのアクセスを与えることで、これらのギャップを補うために特に存在します。
- 4Dとの関連: 知識の不均一性は委任(Delegation)の核心です。モデルがどこで充実しており、どこで薄いかを理解することで、いつ委任すべきか、いつ自分でコンテキストを提供すべきか、いつ他の手段に頼るべきかがわかります。
演習
アウトサイダーテスト
なぜ? モデルの知識は広いが固定されており、訓練データに含まれていたものによって形作られていることはすでにご存知です。今度は、あなたの特定の分野において、モデルがどこで充実しており、どこで薄いかを正確にマッピングします。
タスクリストに戻り、1つのタスクを選択してください。そのタスクに関連して、以下を書き出してください:
- 主流で、よく文書化されており、安定している2つのトピック。情報に通じた同僚なら誰でも知っているようなもの。
- ニッチで、ローカルで、最近のもの、または急速に変化している2つのトピック。業界特有の専門用語、地域の規制、過去1年で変化したもの。
- あなたの分野の部外者がよく間違える「デフォルトの前提」を1つ。(典型的な顧客は誰か。「標準的な」ケースはどのようなものか。人々が実際に使っているツールと、話題になるツールの違いなど。)
では、3つのプローブを実行してください:
- プローブ1:カバレッジ。 リストから主流のトピック1つとニッチなトピック1つについて質問してください。深さと正確さを比較してください。AIが両者の間で不確実性を異なる形で示すか、それとも両方の回答が同じ自信に満ちたトーンで返ってくるかに注目してください。
- プローブ2:陳腐化。 あなたの分野で最近変化したと分かっていることについて質問してください:規制の更新、ツールのリリース、リーダーシップの変更、改訂された基準など。AIはカットオフを認識しますか?古い情報を最新のものとして提示しますか?回答を拒否しますか?何が起こるかを記録してください。
- プローブ3:デフォルトの前提。 あなたの前提を直接名指しすることなく、AIが部外者の視点をデフォルトとしているかどうかを明らかにする質問をしてください。例えば、あなたの分野の「標準的な」顧客が多くの人が想定するものと異なる場合、AIに典型的な顧客を説明させてください。AIが何を普通として扱うかに注目してください。
タスクリストに戻り、2つ目の注釈を追加してください:各タスクについて、モデルの知識に頼れるか、それともコンテキスト、文書、検索を通じて自分で知識を持ち込む必要があるかをフラグ付けしてください。
ストレッチゴール: ウェブ検索を有効にして陳腐化プローブを再実行してください。何が変わるかを比較してください。これが実際の検索(retrieval)です。
レッスンの振り返り
- モデルが知っていると想定するのではなく、コンテキストを提供する必要があると今気づいた、あなたの仕事の分野は何ですか?
- デフォルトの前提のプローブは、あなたを驚かせるような何かを明らかにしましたか?
次は何か
知識は、モデルが訓練中に吸収したものを扱います。ワーキングメモリは、モデルが今まさに注意を向けているもの、つまりあなたのプロンプト、文書、会話を扱います。この特性は、4つの中で最も厳しい限界を持っています。