評価力 (Discernment) を詳しく見る
評価力 (Discernment) を詳しく見る
この動画では、AI の成果物、プロセス、パフォーマンスを思慮深く評価することに焦点を当てたAI活用力の評価力 (Discernment) を解説します。評価力は記述力の裏返しです。記述力が意図を明確に伝えるのに役立つ一方、評価力は受け取ったものがニーズを満たしているかどうかを評価するのに役立ちます。この動画では、3つのタイプの評価方法を紹介します:
- 成果物の評価:AIが出力した成果物の品質を評価する
- プロセスの評価:AIがタスクにどのようにアプローチしたかの過程を評価する
- パフォーマンスの評価:対話中のAIの振る舞いを評価する
これらの能力を合わせることで、AIとの協働が常に思慮深い人間の判断のもとで進むことができます。
重要なポイント
- 評価とは、AI が何を生成するか、どのように生成するか、どのように振る舞うかを思慮深く評価する能力です。
- 成果物の評価は、実際の出力された成果物の品質(正確性、適切性、一貫性、関連性)の評価に焦点を当てます。
- プロセスの評価は、AI がどのようにして成果物の出力に至ったかを評価し、論理的誤り、考慮漏れ、不適切な推論を探すことを含みます。
- パフォーマンスの評価は、協働プロセス自体における AI の振る舞いを評価し、コミュニケーションスタイルがニーズに対して効果的かどうかを評価します。
- 評価は記述と連携し、継続的な振り返りのループ (フィードバックループ)を形成します。
- 最も高度な AI システムでも、人間の判断と監視から恩恵を受けます。
演習
エキスパート評価:専門分野でAIの応答を評価する
演習の目標
専門知識を持つ分野でAI生成コンテンツを評価することにより、成果物、プロセス、パフォーマンスの評価を実践し、知識がAIの出力した内容を批判的に評価する能力をどのように高めるかを理解します。
手順
ステップ1:専門分野に戻る
以前の演習(講座2、演習2:「好きなことを探求する」)で Claude と話し合ったトピックを思い出してください。深い知識と情熱を持っていたトピックです。
ステップ2:複数の説明を求める
Claude との新しい会話を始め、専門トピックの特定の側面について3つの異なる説明や分析を生成するように依頼してください。例えば:
- トピックが写真撮影だった場合、被写界深度について3つの異なる説明を求めることができます。
- トピックが料理だった場合、発酵技術について3つの異なる分析を求めることができます。
- トピックが歴史だった場合、特定の歴史的出来事について3つの異なる視点を求めることができます。
ステップ3:エキスパート評価を適用する
専門知識を活かして、Claude が提供した各説明を注意深く評価してください:
成果物の評価:
- どの説明が最も正確な情報を含んでいますか。
- 事実誤認や誤解はありますか。
- このトピックを学んでいる人にとって、詳細のレベルは適切ですか。
プロセスの評価:
- 各説明でClaude は論理的な推論に従っていますか。
- 分析や思考プロセスにギャップはありますか。
- Claude は概念間の適切なつながりを作っていますか。
パフォーマンスの評価:
- Claude は具体的な質問に注意を払い、フィードバックや指示に応答的でしたか。
- トピックに対して用語は適切に使用されていますか。
- トーンとスタイルは説明の明確さにどのような影響を与えていますか。
ステップ4:フィードバックと改善を提供する
評価に基づいて:
- 最も優れた説明を特定し、なぜ効果的なのかを具体的にClaude に伝えてください。
- 最も弱い説明を特定し、何が問題なのか具体的なフィードバックを提供してください。
- Claude と協力して、特定した問題に対処する改善版を作成してください。
ステップ5:振り返り
Claude と(前と同じチャットで)話し合ってください:
- 強みや弱みを特定するために、どのような具体的な知識が役立ちましたか。
- 専門知識のない人は、これらの説明の品質を見極めるのにどのような苦労をするでしょうか。
- この経験は、専門領域の知識と効果的な評価の関係について何を示していますか。
より楽しい評価力のトレーニングとして、最終講座(「追加アクティビティ」)の「ゲームの時間」の提案を試してみるのもよいでしょう。
振り返り
次に進む前に、少し考えてみましょう:
- 評価のどのタイプ(成果物、プロセス、パフォーマンス)を適用するのが最も難しいと感じますか。それはなぜですか。
- 評価は記述をどのように補完しますか。両者はどのように連携しますか。
- AI の出力した成果物がより注意深い確認を必要としていることを示す兆候やパターンは何ですか。
次のステップ
次の講座では、記述と評価の両方の能力を講座全体のプロジェクトに適用する機会があります。AI と効果的にコミュニケーションし、その出力した成果物を批判的に評価して、人間と AI の両方の能力を最大限に活用した成果を生み出すために学んだことを実践します。