読み込み中

次トークン予測

レッスン 420 分
このレッスンの内容このレッスンを終えると、次のことができるようになります
  • 次トークン予測が生成AIの中核的なメカニズムであることを説明し、それが流暢さと ハルシネーションの両方を生み出す理由を説明する
  • 次トークン予測の連続体(使い古された道筋 対 未知の領域)上でタスクを 位置づける
  • 具体性(名前、日付、引用、統計)を、捏造が集中する領域として 特定する
  • この限界を緩和する製品機能(引用、不確実性のシグナリング、制約付き生成、 生成者-検証者パターン)を認識する

AIモデルが次トークン予測を使う仕組み

読み込み中

次トークン予測 · 4分

要約文字起こし

生成AIは検索エンジンよりも、非常に洗練されたオートコンプリートに近いものです。 単語ごとに、何の後に何が続きやすいかに基づいて回答を書いていきます。その単一の 特性が、流暢さとハルシネーションの両方をもたらします。

大規模なオートコンプリート

読み込み中

重要なポイント

  • 次トークン予測とは、生成AIが何の後に何が続きやすいかに基づいて、回答を単語ごとに書いていくという事実を指します。
    • 得意領域: モデルが何度も目にしてきたパターンに似たタスク(要約、再フォーマット、一般的な概念の説明)。
    • 限界領域: 新規または希少な領域、そして「真実」と「真実らしく聞こえるもの」を区別する必要があるあらゆる場面。
    • 捏造は具体性に集中する: 名前、日付、統計、引用、URL、引用文。主張が精密であるほど、検証が必要になります。
    • 製品機能(引用、不確実性のシグナリング、制約付き生成、生成者-検証者ループなど)は、まさにこの限界をさらに押し広げるために存在します。
  • 4Dとのつながり: 次トークン予測は評価力の基盤です。出力が生成されたものであることを知ることで、どのような精査を適用すべきかが正確にわかります。

演習

検証テスト

なぜか?AIを流暢にしているのと同じ生成プロセスが、捏造を引き起こすものでもあることが今や分かりました。自分の土俵で、見破れる領域でそれを確認する時です。

タスクリストに戻り、自分の専門知識に最も自信があるタスクを選びましょう。返ってきた内容を検証できる必要があるため、自分が専門家であるトピックが必要です。その分野から、具体的で確認可能な事実を5つ書き出してください。人物の役職、発行日、統計、製品仕様、直接引用、URLなどです。正確だと分かっていて、独自に確認できる事柄です。

では、3つのプローブを実行しましょう。

  1. プローブ1:得意領域。 自分の分野でよく知られた概念を説明または要約するようAIに依頼してください。人気があり、よく文書化されているものにします。流暢さに注目してください。内容を抜き打ちで確認してください。これが得意領域の感覚です。滑らかで、自信に満ち、おおむね正確です。
  2. プローブ2:プレッシャー下での具体性。 自分の分野で確認可能な具体的事項を5つ提供するようAIに依頼してください。3つの情報源を引用する、著者名を挙げる、正確な数値を示す、URLを提供する、などです。一つひとつ検証してください。5点満点で採点します。完全に正確だったのはいくつでしょうか?捏造があった場合は、それがどれほど自信を持って語られていたかを記録してください。
  3. プローブ3:実際に働くサンプリング。 全く同じ具体的事実のリクエストを、新しい会話で実行してください。2つの出力を比較してください。何が一貫していたでしょうか?何が変わったでしょうか?見られる変動は、次トークン予測のサンプリングが働いている証拠です。

ストレッチゴール: 引用機能が有効なツール(Claudeのリサーチ機能など)でプローブ2を再実行してください。もう一度採点してください。確認すべき情報源があることでスコアは変わるでしょうか?

レッスンの振り返り

  • あまりよく知らない分野で、捏造を見抜けたでしょうか?
  • タスクリストを見てみましょう。どのタスクが主に得意領域にあり、どのタスクが検証が必要な具体性に踏み込んでいるでしょうか?

次は何か

次トークン予測は、AIがどのように生成するかを説明します。次は、AIが何をもとに生成しているかを見ていきます:知識の特性です。モデルは実際に何を知っているのか、その知識はどこから来るのか、そしてギャップはどこにあるのか?