ステアラビリティが生成AIの出力に与える影響
読み込み中
ステアラビリティ · 5 min
要約文字起こし
モデルは、他のすべてのことと同じ方法で指示に従います。つまり、パターンを継続することによってです。これによってモデルは驚くほどステアラブル(操縦可能)になります。同時に、意図したことと実際に得られた結果の間には常にギャップが存在することも意味し、興味深い失敗の多くはそのギャップの中に存在します。
実際にどれだけコントロールできているのか?
読み込み中
重要なポイント
- ステアラビリティとは、モデルが次トークン予測(Next Token Prediction)を通じて指示に従うことを意味します。
- 得意な領域: 短く具体的で検証可能な指示。フォーマット指定、長さの制限、明示的な役割など。
- 限界のある領域: 長い推論の連鎖、抽象的または曖昧な指示、本来的な数値的・論理的精度を要するもの。
- 特徴的な失敗: 推論のドリフト(小さな誤りが積み重なる)と文言優先(letter-over-spirit、指示は守られたが意図は守られなかった)。
- システムプロンプト、コード実行、可視化された推論、構造化出力モードは、意図が薄れてしまうのを防ぐために存在します。
- 指示が文字通りには守られたが無意味な結果になった場合は、目標を再度述べてください。 指示をより強く繰り返しても、ギャップは埋まりません。
- 4Dとの関連: ステアラビリティは、Description(記述)を強力にするものであり、同時にその限界を定めるものでもあります。言葉と意図の間のギャップを理解することで、プロンプトの書き方やチェックポイントを挿入する場所が変わります。
演習
目標の書き直し
なぜ重要か? 言っていることと意図していることの間のギャップこそが、ステアラビリティの失敗の多くが生じる場所です。この演習では、指示だけでなく意図からプロンプトを作成する方法を学びます。
レッスン1のリストから、複数のステップや特定の出力形式を含むタスクを1つ選んでください。目標を1文で書き出します。つまり、出力がどのように見えるべきかではなく、実際に達成しようとしていることです。(「このタイムラインが現実的であることをチームに納得させる」は目標です。「3つの箇条書き」はフォーマットです。)
では、3つの検証を行ってみましょう:
- 検証1:厳密な制御。 タスクに関連する短く具体的で検証可能な指示を与えてください。「3列の表として回答する」「正確に5つの箇条書き」「全体を通して二人称で」など。それが正確に守られたかを確認します。これは得意な領域です。指示が単純であるため、完璧にパターンマッチングできます。
- 検証2:推論のドリフト。 4〜5の依存するステップを必要とするタスクのバージョンを依頼してください。出力をステップごとに確認します。初期の小さな誤りが最後まで引き継がれていないでしょうか? 今度は、AIにステップ2の結果を示してから続行するよう依頼して、もう一度試してください。チェックポイントを挿入した場合と、そのまま実行させた場合の結果を比較します。
- 検証3:文言対意図。 文字通りには満たせるが無意味になりうる指示を与えてください。本当の問題が構造にある草稿に対して「これを短くして」と指示する。本当の問題が依頼内容を埋もれさせていることにあるメールに対して「これをもっとプロフェッショナルにして」と指示する。結果を確認します。次に、指示と一緒に目標を明示的に述べて再度プロンプトします。「これを短くしてください。私の目標は、2ページ目の重要な発見まで幹部の注意を引き続けることです。」結果を比較します。
タスクリストに戻ってください。複数ステップのタスクについては、チェックポイントを挿入する場所を書き留めます。フォーマットだけでプロンプトしていたタスクについては、次回追加する目標の文言を作成してください。
レッスンの振り返り
- フォーマットだけを述べて目標を述べていなかったことはどれくらいありましたか? 両方を含めると何が変わりますか?
- 今週から、プロセスの途中にチェックポイントを追加する、繰り返し発生するタスクは何ですか?
次のステップ
これで4つの特性すべてを個別に学びました。次のレッスンでは、それらがどのように相互作用するかを見ていきます。実際の失敗の多くは、2つの特性が重なり合うところで起きるからです。