Skill Advisor
Chaque skill, plugin et serveur MCP sur mdskills.ai est évalué par le Skill Advisor — une évaluation automatisée par IA qui note les listings sur les capacités, la qualité et la sécurité. L'objectif est de vous aider à déterminer rapidement si un skill est bien conçu, sûr à utiliser et mérite d'être installé.
Ce que nous évaluons
Le Skill Advisor analyse le contenu du SKILL.md (et du README lorsqu'il est disponible) selon trois dimensions :
1. Capacités
Que permet réellement ce skill à un agent de faire ? Est-il utile et bien délimité, ou superficiel et trivial ? Les instructions sont-elles suffisamment précises pour qu'un agent puisse les exécuter de manière fiable sans deviner ?
2. Qualité
Le SKILL.md est-il bien structuré ? Comporte-t-il des conditions de déclenchement claires, des instructions étape par étape, des exemples et une gestion des cas limites ? Utilise-t-il la divulgation progressive ? Un agent ou un humain comprendrait-il exactement ce que fait ce skill sans effort ?
3. Sécurité
Les permissions déclarées sont-elles appropriées par rapport à ce que le skill fait réellement ? Y a-t-il des commandes shell non validées, des écritures de fichiers non contraintes ou des problèmes de gestion d'identifiants ? Une entrée malveillante pourrait-elle amener un agent à exécuter des commandes dangereuses via ce skill ?
Comment fonctionne la notation
Chaque skill reçoit une note de 1 à 10, accompagnée de points forts et de faiblesses spécifiques. La note reflète la qualité globale sur les trois dimensions :
| Note | Signification |
|---|---|
| 7- 10 | Solide — exploitable, bien structuré et immédiatement utilisable par un agent |
| 4- 6 | Correct — fonctionnel mais pourrait s'améliorer en précision, exemples ou permissions |
| 1- 3 | Faible — instructions exploitables manquantes ou inutilisable par un agent en l'état |
Les notes de 9 ou 10 sont rares et réservées aux skills excellant dans les trois dimensions. Une note de 7 est bonne. Les problèmes de sécurité — en particulier les permissions non déclarées ou le risque d'injection de prompt — impactent significativement la note.
Ce que nous signalons
- Incohérences de permissions — un skill qui utilise des commandes shell mais ne déclare pas l'exécution shell
- Permissions trop larges — demander l'écriture de fichiers, le shell et le réseau quand seule la lecture est nécessaire
- Instructions manquantes — un skill qui décrit ce qu'il fait mais pas comment le faire
- Absence de conditions de déclenchement — pas de section claire « quand utiliser ce skill »
- Surface d'injection de prompt — des instructions qui pourraient être exploitées par un contenu de fichier malveillant
- Gestion des identifiants — secrets stockés en clair ou transmis de manière non sécurisée
Comment les évaluations sont générées
Les évaluations sont générées par Claude (l'IA d'Anthropic) à l'aide d'un prompt d'évaluation structuré. L'évaluateur analyse le contenu du SKILL.md, le README et les permissions déclarées du skill. Les évaluations sont générées lors de la première importation d'un skill et peuvent être régénérées lorsque le contenu est mis à jour.
Le Skill Advisor n'est pas un indicateur de popularité. Il ne prend pas en compte les étoiles GitHub, le nombre d'installations ou le sentiment de la communauté. Il évalue le fichier du skill lui-même — sa structure, sa clarté, sa posture de sécurité et son utilité pour un agent IA.
Limites
- Les évaluations sont générées par IA et peuvent occasionnellement manquer des nuances ou produire des faux positifs
- L'évaluation porte sur le fichier du skill, pas sur l'outil ou le service sous-jacent qu'il encapsule
- L'analyse de sécurité repose sur l'inspection du contenu, pas sur des tests en conditions réelles
- Les notes peuvent varier légèrement si une évaluation est régénérée
Vous avez un retour ?
Si vous pensez qu'une évaluation est inexacte ou injuste, faites-le nous savoir. Nous améliorons continuellement les critères d'évaluation pour les rendre plus utiles et précis.
Ouvrir une issue sur GitHub →