mdskills
← ドキュメント

スキルアドバイザー

mdskills.ai のすべてのスキル・プラグイン・MCP サーバーは、スキルアドバイザーによってレビューされます。スキルアドバイザーは AI を活用した評価システムで、リストを機能・品質・セキュリティの 3 つの観点でスコアリングします。スキルが良く作られているか、安全に使用できるか、インストールする価値があるかを素早く判断できるよう支援することを目的としています。

評価内容

スキルアドバイザーは SKILL.md のコンテンツ(README がある場合はそちらも)を 3 つの観点から分析します:

1. 機能

このスキルはエージェントに何を実現させるのか?有用でスコープが明確か、それとも浅くて些末なものか?推測なしにエージェントが確実に実行できるほど手順は具体的か?

2. 品質

SKILL.md は適切に構成されているか?明確なトリガー条件・ステップバイステップの手順・サンプル・エッジケースの処理があるか?プログレッシブディスクロージャーを使用しているか?エージェントまたは人間がすぐに何をするものか理解できるか?

3. セキュリティ

宣言されたパーミッションはスキルが実際に行うことに対して適切か?未検証のシェルコマンド・制約のないファイル書き込み・認証情報の取り扱いに関する懸念はないか?悪意のある入力がこのスキルを通じてエージェントに危険なコマンドを実行させる可能性はないか?

スコアリングの仕組み

各スキルは 1 から 10 のスコアと、具体的な長所・短所を受け取ります。スコアは 3 つの観点全体の総合的な品質を反映します:

スコア意味
7- 10優秀 — 実用的で、適切に構成されており、エージェントがすぐに使用できる
4- 6良好 — 機能するが、具体性・サンプル・パーミッションで改善の余地あり
1- 3不十分 — 実用的な手順が欠けているか、現状ではエージェントが使用できない

9 または 10 のスコアは稀で、3 つの観点すべてで優れたスキルに限られます。7 は良いスコアです。セキュリティ上の懸念 — 特に未申告のパーミッションやプロンプトインジェクションのリスク — はスコアに大きく影響します。

フラグが立てられる項目

  • パーミッションの不一致 — シェルコマンドを使用するがシェル実行を宣言していないスキル
  • 過剰なパーミッション — 読み取りのみ必要なのに、ファイルシステム書き込み・シェル・ネットワークを要求している
  • 手順の欠落 — 何をするか説明しているが、どうするかを説明していないスキル
  • トリガー条件なし — 「このスキルをいつ使うか」のセクションが明確でない
  • プロンプトインジェクション — 悪意のあるファイルコンテンツによって悪用される可能性のある手順
  • 認証情報の取り扱い — プレーンテキストで保存されたり、安全でない方法で渡されるシークレット

レビューの生成方法

レビューは Claude(Anthropic の AI)が構造化された評価プロンプトを使用して生成します。レビュアーはスキルの SKILL.md コンテンツ・README・宣言されたパーミッションを分析します。レビューはスキルが最初にインポートされたときに生成され、スキルのコンテンツが更新された際に再生成できます。

スキルアドバイザーは人気指標ではありません。GitHub のスター数・インストール数・コミュニティの評判は考慮しません。スキルファイル自体 — その構造・明確さ・セキュリティ姿勢・AI エージェントへの有用性 — を評価します。

制限事項

  • レビューは AI が生成するため、ニュアンスを見逃したり誤検知が発生することがあります
  • レビューはスキルファイルを評価するものであり、スキルがラップする基盤となるツールやサービスを評価するものではありません
  • セキュリティ分析はコンテンツの検査に基づくものであり、実行時テストに基づくものではありません
  • レビューを再生成するとスコアがわずかに変わることがあります
スコアを上げたいですか? SKILL.md ベストプラクティスガイドをお読みください — 特に、パーミッション・シェルの安全性・認証情報の取り扱いに関するセキュリティセクションを参照してください。SKILL.md Best Practices

フィードバックがありますか?

レビューが不正確または不公平だと思われる場合はお知らせください。評価基準をより役立つ・より精確なものに継続的に改善しています。

GitHub で Issue を開く