読み込み中

プラグイン用スキルの検証

レッスン 128 分
このレッスンの内容このレッスンを終えると、次のことができるようになります
  • スキルを共有または利用する前に、evalとは何か、そしてなぜそれが重要なのかを説明する
  • skill-creatorを通じて軽量なevalを実行する

なぜこれが重要なのか

スキルを構築したり、それらをプラグインにまとめたりするとき、あなたは実質的に他の人が使う小さなプロダクトを構築していることになります。そして、同僚に手渡すもの――テンプレート、スプレッドシートのモデル、チェックリスト――と同じように、それが自分の手元を離れる前に試運転しておく価値があります。

自分で作ったスキルを使うとき、あなたは問題や失敗をどう回避すればいいか分かっています。何を頼めばいいのか、どんなファイルを渡せばいいのか、答えがどのような形になるべきかを正確に知っています。チームメイトにはそうした知識がありません。彼らはリクエストを少し違う言い回しで表現したり、わずかに異なる入力を渡したり、エッジケース――そのスキルが想定していた範囲からわずかに外れた、珍しいが実際に起こり得る状況――に遭遇したりするかもしれません。スキルが躓きやすいのはまさにそこであり、使っている人はその理由が分かりません。

evals――evaluations(評価)の略――を使ってスキルをテストすることは、他の誰かがそれに気づく前に、そうした躓きを見つける方法です。この言葉に怖がらないでください。evalとは単なる試運転です。現実的なリクエストを入力し、出てきたものを確認し、Claudeに何を修正すべきか伝える――それだけです。コードもテストスクリプトも不要で、結果が自分の名前を冠するに十分なものかどうかを判断するのは、あなたの判断力だけです。

eval システムの仕組み

skill-creator――スキル作成のためのClaude組み込みヘルパー――でスキルを構築すると、そのプロセスの一部としてevalを案内してくれます。実際にはこのような流れになります。

skill-creatorは、あなたのスキルを使う人が使いそうな現実的なプロンプトを2つ以上考え出します。各プロンプトについて、出力のペアを生成します。

  • 1つはClaudeがあなたのスキルを使った場合
  • もう1つはClaudeが同じプロンプトに対して、あなたのスキルを使わずに答えた場合

2つ目が比較対象です。これがあることで、あなたのスキルが実際にどのような違いを生んでいるのかを並べて確認できます――単に「この出力は大丈夫か」だけでなく、「この出力はClaudeが単独で出したものより良いか」を確認できるのです。

各ペアを確認し、レビューページ上でそのまま平易な英語でフィードバックを与えてください。各ペアを読むとき、実際には2つの質問に答えているだけです。

  • スキル版は自分が使いたいと思うものか?もしそうなら、何が良かったのかを書き留めてください。そうすればスキルはその良さを保ち続けられます。
  • そうでない場合、何が欠けているのか、何がずれているのか?具体的に書いてください。「トーンが堅すぎる」や「エグゼクティブサマリーが抜けている」といった指摘はClaudeが対応できる材料になりますが、「これはちょっと違う」では不十分です。

フィードバックを送信すると、Claudeはあなたの発言に基づいてスキルを改訂します。

スキルを反復改善する

あなたのフィードバックが修正そのものです。送信すると、Claudeは指示を書き直し、例を調整し、求める内容を絞り込むなどしてスキルを更新します。そして同じプロンプトを再度実行し、変更が定着したかどうかを確認できます。

一度に1つずつ変更してください。最初のラウンドでスキルが冗長すぎるかつセクションが欠けていることが分かった場合は、より重要な方を選んで修正し、再実行してから、もう一度レビューに戻ってください。そうすれば、実際に何が効果をもたらしたのかが分かります。改訂後もまだ出力に満足できない場合は、もう一度実行してください――これは一度限りの関門ではなく、ループなのです。ほとんどのスキルは1〜2回のラウンドで準備が整います。スキルを出荷する――自分自身に対して、あるいはチームメイトに対して――ための基準は、完璧なevalではありません。重要なのは、あなたが気にかけているケースがベースラインよりも明確に良い結果を出すこと、そしてまだ対応できていないケースを明示していることです。

そして、最初の試行で出力がすでに素晴らしく見える場合はどうでしょうか?それなら完了です。evalは通過すべき関門ではありません――必要なのは儀式ではなく、確信が必要なときのためにあるのです。

今すぐ試してみる

以下のモックeval レビューを順に進めてみてください――3つのプロンプトがあり、それぞれにスキルあり・スキルなしの出力が並んで表示されます。

読み込み中

各ペアについて、実際に送信したいバージョンを選び、Claudeに伝えたいフィードバックを1行書いてください。それが全体のループです。

次は何か

次のレッスンでは、「これは自分には効果がある」から「これはチームにとって効果がある」へと進みます――個人のワークフローを共有インフラへと変える、そのパターンと選択について学びます。