Skill Advisor
Jeder Skill, jedes Plugin und jeder MCP Server auf mdskills.ai wird vom Skill Advisor bewertet — einer KI-gestützten Evaluierung, die Einträge nach Fähigkeiten, Qualität und Sicherheit benotet. Das Ziel ist, dir schnell einzuschätzen zu helfen, ob ein Skill gut gebaut, sicher nutzbar und die Installation wert ist.
Was wir bewerten
Der Skill Advisor analysiert den SKILL.md-Inhalt (und README, wenn verfügbar) anhand von drei Dimensionen:
1. Fähigkeiten
Was ermöglicht dieser Skill einem Agenten tatsächlich zu tun? Ist er nützlich und gut eingegrenzt, oder oberflächlich und trivial? Sind die Anweisungen spezifisch genug, damit ein Agent sie zuverlässig ausführen kann, ohne raten zu müssen?
2. Qualität
Ist die SKILL.md gut strukturiert? Hat sie klare Auslösebedingungen, schrittweise Anweisungen, Beispiele und Behandlung von Grenzfällen? Nutzt sie progressive Offenlegung? Würde ein Agent oder Mensch sofort verstehen, was dieser Skill tut?
3. Sicherheit
Sind die deklarierten Berechtigungen für den tatsächlichen Zweck des Skills angemessen? Gibt es unvalidierte Shell-Befehle, unbeschränkte Dateischreibvorgänge oder Bedenken beim Umgang mit Zugangsdaten? Könnte eine bösartige Eingabe einen Agenten dazu bringen, über diesen Skill gefährliche Befehle auszuführen?
So funktioniert die Bewertung
Jeder Skill erhält eine Bewertung von 1 bis 10 sowie spezifische Stärken und Schwächen. Die Bewertung spiegelt die Gesamtqualität über alle drei Dimensionen wider:
| Bewertung | Bedeutung |
|---|---|
| 7- 10 | Stark — handlungsorientiert, gut strukturiert und sofort einsetzbar durch einen Agenten |
| 4- 6 | Ordentlich — funktional, könnte aber bei Spezifität, Beispielen oder Berechtigungen verbessert werden |
| 1- 3 | Schwach — fehlende handlungsorientierte Anweisungen oder im jetzigen Zustand nicht von einem Agenten nutzbar |
Bewertungen von 9 oder 10 sind selten und Skills vorbehalten, die in allen drei Dimensionen herausragen. Eine 7 ist gut. Sicherheitsbedenken — insbesondere nicht deklarierte Berechtigungen oder Prompt-Injection-Risiken — wirken sich erheblich auf die Bewertung aus.
Was wir kennzeichnen
- Berechtigungs-Abweichungen — ein Skill, der Shell-Befehle nutzt, aber keine Shell-Ausführung deklariert
- Überdimensionierte Berechtigungen — Dateisystem-Schreiben, Shell und Netzwerk anfordern, wenn nur Lesezugriff nötig ist
- Fehlende Anweisungen — ein Skill, der beschreibt, was er tut, aber nicht wie
- Keine Auslösebedingungen — kein klarer Abschnitt "Wann diesen Skill verwenden"
- Prompt-Injection-Angriffsfläche — Anweisungen, die durch bösartige Dateiinhalte ausgenutzt werden könnten
- Umgang mit Zugangsdaten — Secrets im Klartext gespeichert oder unsicher übergeben
Wie Bewertungen erstellt werden
Bewertungen werden von Claude (Anthropics KI) anhand eines strukturierten Evaluierungs-Prompts erstellt. Der Reviewer analysiert den SKILL.md-Inhalt, README und die deklarierten Berechtigungen des Skills. Bewertungen werden beim ersten Import eines Skills generiert und können aktualisiert werden, wenn sich der Skill-Inhalt ändert.
Der Skill Advisor ist kein Beliebtheitsmerkmal. Er berücksichtigt weder GitHub-Sterne, Installationszahlen noch Community-Stimmungen. Er bewertet die Skill-Datei selbst — ihre Struktur, Klarheit, Sicherheitslage und Nützlichkeit für einen KI-Agenten.
Einschränkungen
- Bewertungen sind KI-generiert und können gelegentlich Nuancen übersehen oder falsch-positive Ergebnisse liefern
- Die Bewertung evaluiert die Skill-Datei, nicht das zugrunde liegende Tool oder den Dienst, den sie umschließt
- Die Sicherheitsanalyse basiert auf Inhaltsüberprüfung, nicht auf Laufzeittests
- Bewertungen können bei erneuter Generierung leicht variieren
Feedback?
Wenn du denkst, dass eine Bewertung ungenau oder unfair ist, lass es uns wissen. Wir verbessern die Bewertungskriterien kontinuierlich, um hilfreicher und präziser zu sein.
Issue auf GitHub öffnen →