読み込み中

より良い結果を得る

レッスン 310 分
このレッスンの内容このレッスンを終えると、次のことができるようになります
  • AIを使い始めるときによくある課題を認識し、トラブルシューティングの手法でそれらを克服する
  • AI活用力を定義し、AIと流暢に協働する方法についてさらに学べる場所を把握する
  • Claudeが独自のワークフローでどのようなパフォーマンスを発揮するかを理解するための評価(eval)のセットアップ方法を説明する

よくある課題とその解決法

Claudeを使い始めると、期待していた回答と少し違う結果が返ってくることがあるでしょう。これは普通のことであり、アプローチを改善するチャンスでもあります。ここでは、よくある課題とその対処法を紹介します。

課題起きていること試してみること
Claudeの回答が一般的すぎるプロンプトに具体的な状況についての文脈が十分含まれていなかった対象読者、役割、制約条件などの詳細を追加してください。「プロジェクトの遅延についてメールを書いて」ではなく、「法人顧客に、ソフトウェア統合が2週間遅れることを説明するメールを書いてください。これまで辛抱強く待ってくれていますが、これが2度目の遅延です。プロフェッショナルでありながら、お詫びの気持ちを伝える内容にしてください。」と伝えてみましょう。
回答が長すぎる(または短すぎる)Claudeが適切な長さを推測している明確に指定してください:「2段落で要約して」「100語以内に収めて」「包括的な分析が必要なので、長さは気にしないで」など。
Claudeが指定したフォーマットに従わなかったClaudeは何を求めているかは理解したが、どのように提示してほしいかは理解していなかった説明するだけでなく、見せてください。フォーマットの例を示すか、構造を明確に記述してください:「各セクションは太字の見出しをつけた箇条書きにして」など。
自信ありげな情報が間違っていたClaudeは、特に具体的な事実やニッチなトピックについて、もっともらしいが不正確な情報を生成することがある重要な仕事では、主要な事実を独自に検証してください。Claudeに情報源を引用させたり、確信度を示させたりすることもできます。ウェブ検索を有効にして、最新情報に基づいた回答を得ることもできます。
トーンが合っていないClaudeはデフォルトで親切かつプロフェッショナルなトーンを使うが、それがニーズに合わないことがあるトーンを具体的に説明してください:「もっとカジュアルに」「権威があってフォーマルな感じにして」など。求めているスタイルの文章例を示すのも効果的です。

反復の考え方

Claudeを使う上で最も重要な意識の転換の一つは、最初のプロンプトで完璧な結果が出ることは稀だと認識すること—そしてそれで構わないということです。最初のプロンプトは一発勝負のリクエストではなく、会話の始まりだと考えてください。

Claudeを効果的に使う人は:

  • 初稿を出発点として扱います。 Claudeが出力した内容を確認し、うまくいっている点とそうでない点を見極め、改善していきます。
  • 具体的なフィードバックを与えます。「短くして」でも問題ありませんが、「最初の2段落を削除して、結論をもっとアクション志向にして」の方がより効果的です。
  • 最初からやり直すタイミングを見極めます。 会話が脱線してしまった場合、軌道修正を試みるよりも、より明確なプロンプトで新しいチャットを始めた方が早いこともあります。

AI活用力とは?

AI活用力とは、AIツールと効果的に協働する能力のことです。単にどのボタンをクリックするか知っているだけでなく、さまざまな状況でAIをうまく使うための判断力を身につけることを意味します。

Rick Dakan教授(Ringling College of Art and Design)とJoseph Feller教授(University College Cork)の研究協力によって開発されたAI活用力の4Dフレームワークでは、AIとのやり取りを最大限に活かすための、組み合わせることで役立つ4つのコアコンピテンシーを特定しています:

  • 委任力: どの作業を人間が行い、どの作業をAIが行い、両者の間でどのようにタスクを分配するかを決定すること。目標の理解、AIの能力の把握、協働に関する戦略的な選択が含まれます。
  • 記述力: AIシステムと効果的にコミュニケーションをとること。出力の明確な定義、AIプロセスの誘導、望ましいAIの動作やインタラクションの指定が含まれます。
  • 評価力: AIの出力、プロセス、動作、インタラクションを思慮深く批判的に評価すること。品質、正確性、適切性の評価、改善点の特定が含まれます。
  • 倫理的責任: AIを責任を持って倫理的に使用すること。AIシステムやインタラクションに関する思慮深い選択、透明性の維持、AI支援による作業への説明責任が含まれます。

このコースを通じて、すでにこれらのスキルを実践してきました。レッスン2のプロンプトフレームワーク(状況の設定、タスクの定義、ルールの指定)は記述力に根ざしています。上記のトラブルシューティング手法は、評価力と倫理的責任を活用しています。

より詳しく学びたい方は、4つのコンピテンシーすべてを実践的な演習と実際の応用例とともに深く掘り下げる、無料のAI活用力コースをご覧ください。

ワークフローに合わせたClaudeの評価

Claudeを仕事のより多くの場面に取り入れ始めると、こんな疑問が浮かぶかもしれません:この特定のタスクにClaudeが本当に向いているかどうか、どうすればわかるのだろう?

ここで評価力が重要になります。評価(eval)とは、自分にとって重要なタスクにおけるClaudeの出力を評価するための直感を養う方法です。自分にとって重要な特定のタイプのタスクでClaudeがどれだけうまく機能するかを、体系的にテストする方法なのです。

評価が重要な理由

仕事内容は人それぞれ異なります。Claudeはマーケティングコピーの作成には優れているかもしれませんが、特定の分野の技術文書ではより多くのガイダンスが必要かもしれません。シンプルな評価を実施することで:

  • ワークフローのどこでClaudeが最も価値を発揮するかを理解できます
  • より多くのコンテキストや例を提供する必要があるタスクを特定できます
  • 繰り返し行うタスクでClaudeの出力への信頼を構築できます

シンプルな評価アプローチ

Claudeを評価するのに複雑なインフラは必要ありません。実践的なアプローチを紹介します:

  1. サンプルを集めます。 定期的に行っているタスクの例を5〜10個集めます—自分が書いたメール、作成したレポート、行った分析など。
  2. テスト用プロンプトを作成します。 同様の出力を生成するプロンプトを書きます。この作業を行うときに自然に持っているコンテキストを含めてください。
  3. 出力を比較します。 プロンプトを実行し、Claudeの回答を自分のサンプルと比較します。以下を自問してください:
    • Claudeは重要な情報を捉えているか?
    • トーンとスタイルは適切か?
    • 何が欠けているか、何を改善できるか?
  4. アプローチを改善します。 学んだことに基づいて、プロンプトを調整したり、良い例を示したり、人間によるレビューが不可欠な箇所を特定したりします。

例:データ分析にClaudeを使用する

読み込み中

より良い結果を得る

前回のレッスンでは、データのプライバシーとセキュリティ、つまり絶対に保護すべきものとその方法について扱いました。そこで今回は、そもそもデータ分析にAIを使うことをためらわせてきたであろう疑問について話しましょう。結果をどうやって信頼すればいいのか、という疑問です。

今日のレッスンは委任力と倫理的責任のループについてです。具体的には、すでに理解しているデータに対してAIを体系的にテストすることで、自分の業務に対するAIの分析能力への信頼を構築する方法です。これを行うことで、AIが自分の特定の状況をどのようにサポートしてくれるかをより良く理解できるようになります。

このプロセスは委任から始まります。仕組みは次の通りです。まず、AIに委任したいと思う、定期的に行っている具体的な分析タスクを特定します。すでに分析を完了している過去のデータを見つけ、そしてAIと協力して自分が行ったことを再現し、何がうまくいき何がうまくいかないかを評価します。アプローチを改良し、再度テストします。AIが既知の結果と一致すれば、同様の将来のタスクに対してそれをどう使い、どう信頼すればよいかが分かります。もし一致しなければ、このタスクは委任すべきではないということを学んだことになります。

では、これが実際にどのように見えるかをお見せし、その後、そもそもデータに精通していない場合にどうすればよいかについて話しましょう。

Valley Veterans Servicesのプログラムディレクターである、Rioを紹介します。四半期ごとに、彼はプログラムの出席状況と雇用成果を合わせて分析し、参加率を計算し、月ごとの変化を追跡し、出席が就職成功と相関しているかどうかを判断しています。この分析には常に数時間かかっています。

委任を検討するにあたり、Rioはこの分析結果を引き続きプログラムの改善に活用したいと考えています。結果の解釈自体は自分で行いたいものの、実際の分析を行う際にいつも陥ってしまうデータクリーニングや数式の混乱はなくしたいと考えています。そこで、このシナリオでAIが適切かどうかをテストするために、彼は前四半期のデータを使って評価することにしました。彼はAIを使わずに分析した後のこのデータが何を示していたかを正確に知っており、分析を始める前の生の雑然としたデータも持っています。これが彼のテストケースです。

Rioはデータをアップロードし、記述力と評価力を使って分析を行うべくAIと作業を始めます。ただし、AIが応答するたびに、Rioはその結果を自分が真実だと知っていることと照らし合わせて確認し、AIの推論における潜在的なギャップを書き留めていきます。追加の記述が、AIが求めている結果を得るのに役立つ場合もあります。そうした場合、Rioは今後のデータ分析タスクのためにその種の情報を含める必要があると分かります。一方で、正当な能力のギャップを見つけることもあります。これが委任力と倫理的責任のループの実践です。モデルの能力を評価するRioの倫理的責任が、今後AIに何を委任するかを変えていくのです。

彼の最初の試みはこのようなものでした。「前四半期の職業訓練プログラムの出席データと雇用成果データを共有します。3か月間の参加パターンを分析し、出席レベルと就職成功との相関関係をグラフ化してください。継続的な出席が良好な就職成果を予測するかどうかを特に理解したいと思っています。」

AIは要約を返します。しかし、それを事実だと決めつけるのではなく、Rioは自分の記録と照らし合わせて確認し、何が良くて何が良くないかを書き留めます。AIはプログラムの出席と就職との相関関係を正しく特定しましたが、住宅支援と就職プログラムを組み合わせた場合の重要な洞察を見逃していました。そこでRioは記述を改良し、もう一度試すようAIに依頼しつつ、プログラムの種類に特に注意を払うよう求めます。今度はAIが自分の誤りに気づきます。そこでRioは、今後の四半期では、分析を行う際にプログラムの種類を考慮するようAIに具体的に依頼する必要があると書き留めます。

次に彼はもっと難しいことを試みます。「参加者が登録した時期に基づいても見てもらえますか?」AIが応答する中で、Rioは登録データを知らないにもかかわらず、AIがそれを抽出する手助けができることに気づきます。彼は後でこれらの結果を照合するためのメモを残します。

このプロセスを経ることで、Rioは四半期報告のためにAIができることとできないことを体系的に検証しました。適切な記述があれば、AIは彼が手作業で行っていた分析を正確に再現できることを学びました。しかし同時に、明確な限界とフォローアップが必要な領域も特定しました。AIがコホート分析を行うには、データに登録日が必要です。そうでなければ、AIはそれを推測しようとしますが、それは彼が望んでいないことです。そして最も重要なことに、Rioは今や今四半期のデータに自信を持って使える検証済みのアプローチを手に入れ、含めるべき情報と、自分自身でまだ追加する必要があるコンテキストについて明確なメモを持っています。

Rioがこの検証済みのアプローチを新しいデータに使う際も、彼の倫理的責任は続きます。彼は自分のプログラムについて知っていることに基づいて、数字が理にかなっているかどうかを確認します。最終報告書については責任を持ち、尋ねられればAIの役割について透明性を保ちます。しかし今や彼は、当て推量ではなく、検証された自信に基づいて作業しているのです。

では、ここでフレームワークを示します。委任したい具体的な分析タスクを特定します。必要なものについて正確に把握します。次に、すでにその分析を完了している過去のデータを見つけます。AIがそこにたどり着けるかどうかを評価するには、正しい答えが必要です。AIと協力して過去の分析を再現し、結果を体系的に評価します。AIは何を生み出したか?どのようにタスクに取り組んだか?どのように結果を伝えたか?ギャップを特定し、委任の仕方を改良し、再度テストします。AIが正しい結果を出すことを検証できれば、新しいデータに自信を持って使えるアプローチを構築したことになります。しかし、何度か改良を重ねてもそこにたどり着けない場合は、これは委任すべきタスクではないということを学んだことになります。

さて、これはすべて素晴らしいことですが、そもそもデータにあまり詳しくなく、自分自身ではそうしたプロセスのギャップを見つけられない場合はどうすればよいでしょうか?AIは、自分一人では思いつかなかったであろう解決策をブレインストーミングし、実装するための有用なツールにもなり得ます。AIモデルはコーディングに特に優れているため、Excelの数式を書いたり、雑然としたデータを再フォーマットしたりといったことを手伝ってくれます。こうした場合、単純に自分の質問やアイデアをAIに持ち込み、解決策がどのようなものになり得るかを理解する手助けを具体的に依頼すればよいのです。チーム内のデータアナリストと一緒に作業するのと同じようにです。AIと作業する際は、プロセスを追い、最終的な出力を理解できるように、説明や解説を求め続けてください。

ただ覚えておいてください。検証は自信を構築しますが、責任をなくすものではありません。これらの結果が理にかなっているかを確認し、分析プロセスにおけるAIの役割について透明性を保つ責任は、依然としてあなた自身にあります。

このテストは、検討しているあらゆる分析タスクに有効です。寄付者分析、予算予測、アンケート統合、成果追跡などです。まずテストし、何がうまくいくかを検証し、その上でより自信を持って適用するか、あるいはまったく委任すべきではないことを学んでください。

次のレッスンでは、ワークフローの拡張と、AIが皆さんに代わって日常的なタスクを処理する際に、これらと同じ原則をどのように適用するかについて見ていきます。

上の動画は非営利団体向けAI活用力コースからのものですが、AIでデータを扱う人なら誰にでも参考になる例です。Claudeがデータでどのように機能するかを評価するには:

  • 手動で分析したデータセットを見つけます
  • Claudeに代わりに分析を依頼するプロンプトを作成します
  • Claudeの結果を自分のオリジナルと比較します
  • パターンを見つけてプロンプトを改善します:例えば、Claudeは正しい数値を出すが全体的なパターンを見落としているかもしれません

このような軽量な評価は、自分にとって重要なタスクでClaudeとどのように協働すべきか—そしてレビューと改善のエネルギーをどこに集中させるべきか—についての直感を養うのに役立ちます。

レッスンの振り返り

次に進む前に、考えてみてください:

  • よくある課題のうち、すでに経験したものはどれですか?次回はどんなテクニックを試してみますか?
  • 繰り返し行うタスクにClaudeが適しているかを理解するのに、シンプルな評価が役立ちそうな仕事はどこにありますか?
  • 4DフレームワークはClaudeとの協働についてどのように考える助けになりそうですか?

次のステップ

次のレッスンでは、Claudeデスクトップアプリと、そこでClaudeと協働する3つの方法——ターンごとにやり取りする(Chat)、作業を任せる(Cowork)、ソフトウェアを構築する(Claude Code)——について探っていきます。