Skill Advisor
Cada skill, plugin e servidor MCP no mdskills.ai é avaliado pelo Skill Advisor — uma avaliação com IA que pontua listagens em capacidades, qualidade e segurança. O objetivo é ajudá-lo a avaliar rapidamente se uma skill é bem construída, segura de usar e vale a pena instalar.
O que avaliamos
O Skill Advisor analisa o conteúdo do SKILL.md (e o README quando disponível) em três dimensões:
1. Capacidades
O que essa skill realmente permite que um agente faça? É útil e bem delimitada, ou superficial e trivial? As instruções são específicas o suficiente para que um agente as execute de forma confiável sem precisar adivinhar?
2. Qualidade
O SKILL.md está bem estruturado? Tem condições de ativação claras, instruções passo a passo, exemplos e tratamento de casos extremos? Usa divulgação progressiva? Um agente ou humano conseguiria entender exatamente o que isso faz de imediato?
3. Segurança
As permissões declaradas são apropriadas para o que a skill realmente faz? Existem comandos de shell não validados, escrita irrestrita em arquivos ou preocupações com o manuseio de credenciais? Uma entrada maliciosa poderia enganar um agente para executar comandos perigosos por meio dessa skill?
Como funciona a pontuação
Cada skill recebe uma pontuação de 1 a 10, junto com pontos fortes e fracos específicos. A pontuação reflete a qualidade geral nas três dimensões:
| Pontuação | Significado |
|---|---|
| 7- 10 | Forte — acionável, bem estruturada e imediatamente utilizável por um agente |
| 4- 6 | Razoável — funcional, mas poderia melhorar em especificidade, exemplos ou permissões |
| 1- 3 | Fraca — faltam instruções acionáveis ou não é utilizável por um agente no estado atual |
Pontuações de 9 ou 10 são raras e reservadas para skills que se destacam nas três dimensões. Uma pontuação de 7 é boa. Problemas de segurança — especialmente permissões não declaradas ou risco de injeção de prompt — impactam significativamente a pontuação.
O que sinalizamos
- Incompatibilidade de permissões — uma skill que usa comandos de shell mas não declara execução de shell
- Permissões excessivas — solicitar escrita no sistema de arquivos, shell e rede quando apenas leitura é necessária
- Instruções ausentes — uma skill que descreve o que faz mas não como fazer
- Sem condições de ativação — nenhuma seção clara de "quando usar esta skill"
- Superfície de injeção de prompt — instruções que podem ser exploradas por conteúdo malicioso em arquivos
- Manuseio de credenciais — segredos armazenados em texto simples ou transmitidos de forma insegura
Como as avaliações são geradas
As avaliações são geradas pelo Claude (IA da Anthropic) usando um prompt de avaliação estruturado. O avaliador analisa o conteúdo do SKILL.md da skill, o README e as permissões declaradas. As avaliações são geradas quando uma skill é importada pela primeira vez e podem ser regeneradas quando o conteúdo da skill é atualizado.
O Skill Advisor não é uma métrica de popularidade. Ele não considera estrelas do GitHub, contagens de instalação ou sentimento da comunidade. Ele avalia o arquivo da skill em si — sua estrutura, clareza, postura de segurança e utilidade para um agente de IA.
Limitações
- As avaliações são geradas por IA e podem ocasionalmente perder nuances ou produzir falsos positivos
- A avaliação analisa o arquivo da skill, não a ferramenta ou serviço subjacente que ela integra
- A análise de segurança é baseada na inspeção de conteúdo, não em testes em tempo de execução
- As pontuações podem variar ligeiramente se uma avaliação for regenerada
Tem algum feedback?
Se você acha que uma avaliação é imprecisa ou injusta, nos avise. Estamos continuamente melhorando os critérios de avaliação para ser mais úteis e precisos.
Abrir uma issue no GitHub →