skillevaluator可先用不调用模型的quality-check检查skill静态质量,再用harness-check预测它能否被不同agent加载。两者都不需要模型密钥;如果要证明tier 1完整验证通过,还需要运行对应验证并补齐扫描器证据,不能把一个质量分数当作全部检查完成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
静态检查与模型评估所需依赖不同
准备工具并运行静态质量检查
先准备uv与Git。官方支持Python 3.12、3.13和3.14,下面选择由uv配置Python 3.13的独立工具安装方式。安装本身需要下载依赖;静态质量检查不需要Docker、GPU或模型API。
uv tool install --python 3.13 "skillevaluator @ git+https://github.com/NVIDIA/SkillEvaluator.git" skillevaluator --version skillevaluator quality-check /path/to/my-skill
把/path/to/my-skill替换成包含SKILL.md的目录,检查命令输出的分数、问题和修正建议。需要复现官方附带示例并保留JSON报告时,可在源码目录运行:
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git cd SkillEvaluator uv run --python 3.13 skillevaluator quality-check \ src/skillevaluator/tier3/reference_skills/text-analyzer \ -r cli -r json -o reports/first-quality
示例会把报告写入指定目录。分数反映该组静态规则,不代表Skill已在真实任务中提升效果,也不代表所有安全检查证据都已具备。
Composio 提供 1000 多个预构建工具包,具备托管身份验证、上下文管理和沙盒执行功能,可将 AI 代理连接到 Gmail、Slack、GitHub 和 Notion 等外部应用程序。提供 Python 和 TypeScript SDK,支持主要的代理框架。
再检查宿主加载兼容性
skillevaluator harness-check /path/to/my-skill skillevaluator harness-check /path/to/my-skill --harness codex,hermes -v

Harness Check按版本化配置预测加载结果
这一步读取本地文件并按版本化宿主配置给出loads、degraded或not_loaded等结果。常见检查包括YAML解析、目录发现和描述长度;degraded表示内容可能被截断、隐藏或忽略。使用-v核对规则对应的版本与日期,不能把静态预测当作已经启动各Agent实测。
按检查范围处理未完成证据
准备完整Tier 1验证时,可运行skillevaluator validate /path/to/my-skill --tiers 1。官方基础包包含Bandit,完整扫描还会配置SkillSpector与Gitleaks;首次运行可能需要网络下载。Semgrep是可选工具,依赖审计等能力还涉及额外组件。
如果结果为INCOMPLETE,应按诊断补齐缺少或失败的扫描器后重跑。跳过某项检查仍属于跳过,不能据此声明完整验证通过。模型评分、语义去重和真实Agent任务评估另需相应依赖、凭据与运行环境,静态质量报告并不替代这些证据。

















