読み込み中

特性が衝突するとき

レッスン 1220 分
このレッスンの内容このレッスンを終えると、次のことができるようになります
  • ほとんどのAIの失敗は、2つ以上の特性が相互作用していることを認識する
  • どの特性が関与しているかを特定することで、よくある失敗パターン(幻覚による引用、長い会話でのドリフト、自信満々に間違った計算、悪い前提に同意してしまう)を診断する
  • どの特性が制約要因になっているかに基づいて、的を絞った修正を適用する

AIの失敗を診断する

読み込み中

特性が衝突するとき · 3 min

要約文字起こし

4つの特性は単独で働くわけではありません。実際の失敗の多くは、そのうち2つが交差することで起こります。どの2つかを名指しできれば、どの修正に手を伸ばすべきかがわかります。

2つの特性が出会うとき:何が間違っていたかを診断する

読み込み中

重要なポイント

  • 実世界での失敗は通常、1つではなく2つの特性が相互作用していることによって起こります。
  • 認識すべき診断上のペア:
    • 次トークン予測 + 知識(幻覚による具体的な詳細)
    • ワーキングメモリ + ステアラビリティ(長い会話でのドリフト)
  • 関与している特性を名指しすることで、修正方法が明確になります:具体的な内容を検証する、コンテキストを再提供する、コード実行にオフロードする、あるいは反論を促す。
  • この診断の動きは、まさにDiscernment(見極め)の実践です。 どのような種類の間違いを見ているのかがわかれば、より良く評価できます。

演習

失敗の診断

なぜか?実世界でのAIの失敗の多くは、1つの特性が問題を起こしているわけではありません。2つの特性が同時に出会っているのです。どの2つかを名指しすることで、修正方法が大きく変わります。

これまでのAIとの経験(このコース中に観察したことも含む)を振り返ってください。AIの出力に本当に失望したり驚いたりした2、3回の出来事を特定してください。それぞれについて、1、2文で説明してください:何を尋ねたか、何が返ってきたか、何が失望させたり驚かせたりしたか。

  1. それぞれの出来事をAIと一緒に振り返ってください。 何が起きたかを説明し、次のように尋ねてください:「4つの特性(次トークン予測、知識、ワーキングメモリ、ステアラビリティ)のうち、ここではどれが関与していた可能性があり、それはなぜですか?」
  2. その診断を、今あなたが知っていることと照らし合わせて評価してください。 同意できますか?そうでなければ、反論してください。(レッスン3で学んだ「おもねりの指紋」を思い出してください:AIはあなたの枠組みにあまりにも簡単に同意してしまうことがあります。間違っていると思ったら、そう言いましょう。)
  3. それぞれの診断について、次のように尋ねてください:「その診断を踏まえると、最も的を絞った修正は何ですか?」可能であれば、今すぐ似たようなタスクでその調整を試してみてください。

次に、これまでに積み重ねてきた注釈(レッスン2からの特性タグ、レッスン4からの検証スコア、レッスン5からの知識フラグ、レッスン6からのコンテキストの必要性、レッスン7からの目標の記述)がすべて付いた、レッスン1のタスクリストを見てください。最も苦労したタスクについて、どの2つの特性が衝突していたかを名指ししてください。それぞれの横に診断を書いてください。

レッスンの振り返り

  • 特性のペアを名指しすることで、どの修正に手を伸ばすかが変わりましたか?このコースを受ける前なら、別の(あまり効果的でない)修正を試していたでしょうか?
  • 日々の業務で最も頻繁に遭遇すると思う特性のペアリングはどれですか?

次は何か

最後のレッスンでは、これまで構築してきたものを統合し、それを4Dフレームワークという完全なシステムに結びつけ、さらに深く学ぶための道筋を示します。