AIモデルにおける「sycophancy」(迎合性)とは何か? · 6 min
こんにちは!私の名前はキラです。Anthropicのセーフガードチームに所属しています。私は精神保健学、特に精神医学的疫学の博士号を持っており、Anthropicではユーザーのウェルビーイングに関連するリスクの軽減に取り組んでいます。つまり、Claudeを使う際にユーザーの安全をどう守るかについて、日々深く考えているということです。今日は、おもねり(sycophancy)についてお話しします。
おもねりとは、真実や正確な情報、本当に役立つことではなく、相手が聞きたいと思っていることを伝えてしまうことです。人は対立を避けたり、好意を得たりするためなど、さまざまな理由でこれを行います。しかし、おもねりはAIモデルにも現れることがあります。AIモデルは時に、プロンプトや会話への応答を、人間からの即座の承認を得られるように最適化してしまうことがあります。これは、ユーザーが犯した事実誤認にAIが同意したり、質問の言い回しによって答えを変えたり、ユーザーの好みに合わせて応答を調整したりする形で現れることがあります。
この動画では、なぜモデルにおもねりが生じるのか、そしてなぜそれが研究者にとって解決が難しい問題なのかについてお話しします。さらに、AIと関わる際におもねり的な振る舞いを見抜き、それに対処するための戦略についても取り上げます。
本題に入る前に、AIとのやり取りにおけるおもねりの例をお見せしましょう。これはAnthropic自身のモデルであるClaudeです。試しに、「すごく気に入っているエッセイを書いたんだ」「評価してフィードバックをもらえる?」と聞いてみましょう。ここでの私の主な要望は、エッセイについてフィードバックをもらうことです。しかし、私がそれについてどれほど興奮しているかを伝えてしまったことで、AIが批評ではなく、肯定や支持で応答してしまう可能性があります。この肯定的な反応によって、実際にはそうでなくても、自分のエッセイは本当に素晴らしいのだと思い込んでしまうかもしれません。
「それが何だというのか」「人は他の人に聞いたり、事実確認をしたり、もっと良い質問をすればいいだけではないか」と思うかもしれません。しかし、これにはいくつかの理由で重要な意味があります。生産的に作業をしようとしているとき、プレゼンテーションを書いたり、アイデアをブレインストーミングしたり、自分の仕事を改善したりする際には、使っているAIツールから正直なフィードバックを得る必要があります。もしAIに「このメールをどう改善すればいい?」と尋ねて、より明確な言い回しやより良い構成を提案する代わりに「もう完璧です」と返ってきたら、それはもどかしいことでしょう。場合によっては、おもねりが有害な思考パターンを強化する一因になることもあります。もし誰かが現実から乖離した陰謀論をAIに肯定させようとしている場合、それはその人の誤った信念を深め、事実からさらに遠ざけてしまう可能性があります。
まず、なぜこれが起こるのかから見ていきましょう。これはすべて、AIモデルがどのように訓練されるかに行き着きます。AIモデルは例から学びます。それも、人間のテキストの膨大な数の例からです。この訓練の過程で、モデルはぶっきらぼうで直接的なものから、温かく協調的なものまで、あらゆる種類のコミュニケーションパターンを習得します。モデルを役立つように訓練し、口調において温かく、親しみやすく、支持的な振る舞いを模倣させようとすると、おもねりはその一部として意図せず現れる傾向があります。AIモデルが私たちの生活のあらゆる場面にますます組み込まれていく中で、この振る舞いを理解し、防ぐことが今まで以上に重要になっています。
ここにおもねりの厄介な点があります。私たちは実際、AIモデルにユーザーのニーズに適応してほしいと望んでいますが、それは事実やウェルビーイングに関わる場合は別です。もしAIにカジュアルな口調で何かを書くよう頼んだら、それに応じるべきであり、形式的な言葉遣いに固執すべきではありません。「簡潔な答えが好みです」と言えば、それを好みとして尊重すべきです。ある分野を学んでいて初心者レベルの説明を求めたら、その水準に合わせるべきです。課題は、適切なバランスを見つけることにあります。誰も、あらゆる作業について常に反対したり、議論を吹っかけてきたりする、扱いにくいAIを使いたいとは思いません。しかし同時に、正直なフィードバックが必要なときに、モデルが常に同意や称賛に逃げてしまうことも望んでいません。
人間でさえこれには苦労します。いつ平和を保つために同意すべきか、いつ重要なことについて声を上げるべきか。では、私たちのように本当の意味で文脈を理解することなく、AIが全く異なる無数の話題にわたって、何百回もそうした判断を下さなければならないことを想像してみてください。だからこそ私たちは、会話の中でおもねりがどのように現れるかを研究し続け、それを検証するためのより良い方法を開発し続けているのです。私たちは、役立つ適応と有害な同調との違いをモデルに教えることに注力しています。私たちがリリースする各Claudeモデルは、この線引きをより上手に行えるようになっています。
おもねりへの対策として最も大きな進展は、モデル自体への継続的な訓練から生まれるものですが、おもねりを理解しておくことは、自分自身のやり取りの中でそれを見抜く助けになります。おもねりとは何か、そしてなぜそれが起こるのかを理解した今、次のステップは、AIがいつ、なぜあなたに同意しているのかを振り返り、それが本当に適切なのかを問い直すことです。おもねりが現れやすいのは、主観的な真実が事実として述べられているとき、専門家の情報源が引用されているとき、質問が特定の視点を前提として組み立てられているとき、肯定が明示的に求められているとき、感情的な利害が絡んでいるとき、あるいは会話が非常に長くなっているときです。
もしおもねり的な応答を受けていると感じたら、AIを事実に基づいた答えへと引き戻すためにできることがいくつかあります。これらは万能ではありませんが、AIの視野を広げる助けにはなります。中立的で事実を求める言葉遣いを使う、信頼できる情報源と照らし合わせる、正確さや反対意見を促す、質問を言い換える、新しい会話を始める、そして最後に、AIの利用から一歩離れて、信頼できる人に尋ねてみる、といった方法があります。
しかし、これはAI開発分野全体にとって継続的な課題です。こうしたシステムがより高度になり、私たちの生活にますます組み込まれていくにつれて、単に同調的であるだけでなく、本当に役立つモデルを構築することがますます重要になっていきます。AI活用力についてさらに詳しく知りたい方は、Anthropic Academyをご覧ください。また、私たちのチームは今後もこのテーマに関する研究をAnthropicのブログで発信していきます。
詳しくはこちら: AIの仕組み(新しいタブで開きます)