AIモデルが次トークン予測を使う仕組み
読み込み中
次トークン予測 · 4分
要約文字起こし
生成AIは検索エンジンよりも、非常に洗練されたオートコンプリートに近いものです。 単語ごとに、何の後に何が続きやすいかに基づいて回答を書いていきます。その単一の 特性が、流暢さとハルシネーションの両方をもたらします。
大規模なオートコンプリート
読み込み中
重要なポイント
- 次トークン予測とは、生成AIが何の後に何が続きやすいかに基づいて、回答を単語ごとに書いていくという事実を指します。
- 得意領域: モデルが何度も目にしてきたパターンに似たタスク(要約、再フォーマット、一般的な概念の説明)。
- 限界領域: 新規または希少な領域、そして「真実」と「真実らしく聞こえるもの」を区別する必要があるあらゆる場面。
- 捏造は具体性に集中する: 名前、日付、統計、引用、URL、引用文。主張が精密であるほど、検証が必要になります。
- 製品機能(引用、不確実性のシグナリング、制約付き生成、生成者-検証者ループなど)は、まさにこの限界をさらに押し広げるために存在します。
- 4Dとのつながり: 次トークン予測は評価力の基盤です。出力が生成されたものであることを知ることで、どのような精査を適用すべきかが正確にわかります。
演習
検証テスト
なぜか?AIを流暢にしているのと同じ生成プロセスが、捏造を引き起こすものでもあることが今や分かりました。自分の土俵で、見破れる領域でそれを確認する時です。
タスクリストに戻り、自分の専門知識に最も自信があるタスクを選びましょう。返ってきた内容を検証できる必要があるため、自分が専門家であるトピックが必要です。その分野から、具体的で確認可能な事実を5つ書き出してください。人物の役職、発行日、統計、製品仕様、直接引用、URLなどです。正確だと分かっていて、独自に確認できる事柄です。
では、3つのプローブを実行しましょう。
- プローブ1:得意領域。 自分の分野でよく知られた概念を説明または要約するようAIに依頼してください。人気があり、よく文書化されているものにします。流暢さに注目してください。内容を抜き打ちで確認してください。これが得意領域の感覚です。滑らかで、自信に満ち、おおむね正確です。
- プローブ2:プレッシャー下での具体性。 自分の分野で確認可能な具体的事項を5つ提供するようAIに依頼してください。3つの情報源を引用する、著者名を挙げる、正確な数値を示す、URLを提供する、などです。一つひとつ検証してください。5点満点で採点します。完全に正確だったのはいくつでしょうか?捏造があった場合は、それがどれほど自信を持って語られていたかを記録してください。
- プローブ3:実際に働くサンプリング。 全く同じ具体的事実のリクエストを、新しい会話で実行してください。2つの出力を比較してください。何が一貫していたでしょうか?何が変わったでしょうか?見られる変動は、次トークン予測のサンプリングが働いている証拠です。
ストレッチゴール: 引用機能が有効なツール(Claudeのリサーチ機能など)でプローブ2を再実行してください。もう一度採点してください。確認すべき情報源があることでスコアは変わるでしょうか?
レッスンの振り返り
- あまりよく知らない分野で、捏造を見抜けたでしょうか?
- タスクリストを見てみましょう。どのタスクが主に得意領域にあり、どのタスクが検証が必要な具体性に踏み込んでいるでしょうか?
次は何か
次トークン予測は、AIがどのように生成するかを説明します。次は、AIが何をもとに生成しているかを見ていきます:知識の特性です。モデルは実際に何を知っているのか、その知識はどこから来るのか、そしてギャップはどこにあるのか?