Skill Advisor
mdskills.ai의 모든 스킬, 플러그인, MCP 서버는 Skill Advisor의 리뷰를 거칩니다 — 기능, 품질, 보안을 점수화하는 AI 기반 평가입니다. 스킬이 잘 만들어졌는지, 안전하게 사용할 수 있는지, 설치할 가치가 있는지를 빠르게 판단할 수 있도록 돕는 것이 목표입니다.
평가 항목
Skill Advisor는 SKILL.md 콘텐츠(및 사용 가능한 경우 README)를 세 가지 차원에서 분석합니다:
1. 기능
이 스킬이 에이전트에게 실제로 무엇을 할 수 있게 하나요? 유용하고 범위가 적절한가요, 아니면 피상적이고 사소한가요? 에이전트가 추측 없이 안정적으로 실행할 수 있을 만큼 지침이 구체적인가요?
2. 품질
SKILL.md가 잘 구조화되어 있나요? 명확한 트리거 조건, 단계별 지침, 예제, 엣지 케이스 처리가 있나요? 점진적 공개를 사용하나요? 에이전트나 사람이 이것이 무엇을 하는지 바로 이해할 수 있나요?
3. 보안
선언된 권한이 스킬이 실제로 하는 일에 적합한가요? 검증되지 않은 셸 커맨드, 무제한 파일 쓰기, 자격 증명 처리 문제가 있나요? 악의적인 입력이 이 스킬을 통해 에이전트를 속여 위험한 커맨드를 실행하게 할 수 있나요?
점수 산정 방식
각 스킬은 1에서 10까지의 점수와 함께 구체적인 강점과 약점을 받습니다. 점수는 세 가지 차원의 전반적인 품질을 반영합니다:
| 점수 | 의미 |
|---|---|
| 7- 10 | 우수 — 실행 가능하고, 잘 구조화되어 있으며, 에이전트가 즉시 사용 가능 |
| 4- 6 | 양호 — 동작하지만 구체성, 예제, 권한 면에서 개선 가능 |
| 1- 3 | 미흡 — 실행 가능한 지침이 없거나 에이전트가 현재 상태로 사용할 수 없음 |
9점이나 10점은 드물며 세 가지 차원 모두에서 뛰어난 스킬에만 부여됩니다. 7점이면 양호합니다. 보안 문제 — 특히 선언되지 않은 권한이나 프롬프트 인젝션 위험 — 는 점수에 크게 영향을 미칩니다.
플래그 항목
- 권한 불일치 — 셸 커맨드를 사용하지만 셸 실행 권한을 선언하지 않은 스킬
- 과도한 권한 — 읽기만 필요한데 파일시스템 쓰기, 셸, 네트워크를 모두 요청
- 지침 누락 — 스킬이 무엇을 하는지는 설명하지만 어떻게 하는지는 없음
- 트리거 조건 없음 — 명확한 "이 스킬을 사용할 때" 섹션이 없음
- 프롬프트 인젝션 취약점 — 악성 파일 콘텐츠에 의해 악용될 수 있는 지침
- 자격 증명 처리 — 평문으로 저장되거나 안전하지 않게 전달되는 시크릿
리뷰 생성 방법
리뷰는 구조화된 평가 프롬프트를 사용하여 Claude(Anthropic의 AI)가 생성합니다. 리뷰어는 스킬의 SKILL.md 콘텐츠, README, 선언된 권한을 분석합니다. 리뷰는 스킬이 처음 임포트될 때 생성되며, 스킬 콘텐츠가 업데이트되면 재생성할 수 있습니다.
Skill Advisor는 인기 지표가 아닙니다. GitHub 스타, 설치 수, 커뮤니티 반응을 고려하지 않습니다. 스킬 파일 자체 — 구조, 명확성, 보안 태세, AI 에이전트에 대한 유용성 — 을 평가합니다.
한계
- 리뷰는 AI가 생성하므로 때때로 뉘앙스를 놓치거나 오탐이 발생할 수 있음
- 리뷰는 스킬 파일을 평가하며, 스킬이 래핑하는 기반 도구나 서비스는 평가하지 않음
- 보안 분석은 콘텐츠 검사 기반이며 런타임 테스트는 아님
- 리뷰를 재생성하면 점수가 약간 달라질 수 있음