메뉴
Aether Plugin Skill 基准测试与回归检测工具。对所有 Skill 进行触发准确率、输出质量、 工具使用、错误处理、Token 效率五维评估，与存储的基准线对比并生成差异报告。 使用场景：Skill 优化后验证改进效果、发版前回归检测、首次建立基准线、 查看历史评估趋势。当用户提到"基准测试"、"benchmark"、"评估 skill"、 "skill 质量"、"回归测试"、"跑 eval"时触发。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | skill-benchmark |
| description | Aether Plugin Skill 基准测试与回归检测工具。对所有 Skill 进行触发准确率、输出质量、 工具使用、错误处理、Token 效率五维评估，与存储的基准线对比并生成差异报告。 使用场景：Skill 优化后验证改进效果、发版前回归检测、首次建立基准线、 查看历史评估趋势。当用户提到"基准测试"、"benchmark"、"评估 skill"、 "skill 质量"、"回归测试"、"跑 eval"时触发。 |
| argument-hint | [--skill <name>] [--update-baseline] [--report-only] |
| user-invocable | true |
| allowed-tools | Bash, Read, Write, Glob, Grep, Agent, Edit |
对 Aether Plugin 的所有 Skill 进行系统化质量评估，支持基准对比和回归检测。
基准线 (Baseline): 一组已确认的评估结果快照，作为后续优化的参考点。 评估用例 (Eval Case): 针对特定 Skill 的测试场景，包含输入、期望输出和断言。 回归 (Regression): 优化后某项指标低于基准线超过允许阈值。
/skill-benchmark → 评估所有 Skills，与基准线对比
/skill-benchmark --skill aether-status → 只评估指定 Skill
/skill-benchmark --update-baseline → 评估后更新基准线
/skill-benchmark --report-only → 只查看上次评估报告，不重新运行
evals/config.yaml 获取评估维度、阈值和权重evals/baseline.yaml 获取当前基准线（如果存在）evals/cases/{skill-name}/*.yaml
为每个目标 Skill 加载所有 eval case 文件。每个 case 定义：
name: "descriptive-test-name"
skill: "aether-status"
category: "trigger-accuracy" # 五维之一
input: "用户输入的提示词"
context: # 可选：模拟环境
files: []
env: {}
expected:
triggered: true # 是否应该触发此 Skill
tools_used: ["Bash"] # 期望使用的工具
output_contains: ["keyword"] # 输出应包含的关键字
output_not_contains: [] # 输出不应包含的内容
output_structure: "table" # 期望的输出结构
error_handled: false # 是否测试错误处理
tags: ["p0", "smoke"]
对每个 eval case：
触发准确率 (Trigger Accuracy)
输出质量 (Output Quality)
expected.output_contains 中所有关键字expected.output_structure工具使用 (Tool Usage)
expected.tools_used 中指定的工具错误处理 (Error Handling)
Token 效率 (Token Efficiency)
将当前评估结果与 evals/baseline.yaml 逐项对比：
╔══════════════════════════════════════════════════════════════╗
║ SKILL BENCHMARK REPORT ║
╚══════════════════════════════════════════════════════════════╝
📊 Overall Score: 87.3% (baseline: 82.1%, +5.2%)
┌─────────────────┬────────┬──────────┬────────┬────────┐
│ Skill │ Score │ Baseline │ Delta │ Status │
├─────────────────┼────────┼──────────┼────────┼────────┤
│ aether-status │ 92.0% │ 88.0% │ +4.0% │ ✅ UP │
│ aether-deploy │ 85.0% │ 85.0% │ 0.0% │ ── OK │
│ aether-init │ 78.0% │ 82.0% │ -4.0% │ ⚠️ DOWN│
│ ... │ │ │ │ │
└─────────────────┴────────┴──────────┴────────┴────────┘
📈 维度详情 (aether-status)
───────────────────────────────────────────────────────────
触发准确率: 95% (baseline: 90%, +5%) ✅
输出质量: 90% (baseline: 88%, +2%) ✅
工具使用: 92% (baseline: 85%, +7%) ✅
错误处理: 88% (baseline: 85%, +3%) ✅
Token 效率: 95% (baseline: 92%, +3%) ✅
⚠️ 回归检测
───────────────────────────────────────────────────────────
aether-init: 输出质量下降 4.0% (阈值: -10%) → 在阈值内
无阻断性回归
evals/results/{date}.yaml--update-baseline，确认后更新 evals/baseline.yaml不需要实际运行 Skill，而是分析 Skill 的 description 字段：
description 字段input，判断该描述是否能让 Claude 正确决定触发/不触发通过静态分析 SKILL.md 的指令质量：
# 计算 SKILL.md token 数（近似）
wc -w skills/{skill-name}/SKILL.md
# 计算 references 总量
wc -w skills/{skill-name}/references/*.md 2>/dev/null
# 信息密度 = 覆盖的功能数 / token 数
参考标准（来自 references/scoring-rubric.md）。
/skill-benchmark --update-baseline
首次运行时 baseline.yaml 不存在，评估完成后自动创建。
只有在确认改进有效后才更新：
# evals/baseline.yaml
version: "2026-03-17"
overall_score: 87.3
skills:
aether-status:
trigger_accuracy: 95.0
output_quality: 90.0
tool_usage: 92.0
error_handling: 88.0
token_efficiency: 95.0
overall: 92.0
aether-deploy:
# ...
每次评估结果保存到 evals/results/{date}.yaml，可回溯查看趋势。
详细的评估配置、阈值定义和评分标准见：
references/scoring-rubric.md — 五维评分细则evals/config.yaml — 阈值和权重配置每次 Skill 优化升级必须遵循以下流程：
1. 修改前运行基准测试 → 记录当前状态
2. 实施优化修改
3. 修改后运行基准测试 → 与修改前对比
4. 确认无回归后 → 更新基准线
5. 提交变更（包含评估报告）
这个流程通过 evals/config.yaml 中的 require_comparison: true 强制执行。
新项目接入 Aether 集群。先分析项目特征生成部署方案，确认后生成部署文件。 两阶段流程：Phase 1 分析与设计 → Phase 2 生成文件。 使用场景："接入新项目到 Aether"、"生成部署配置"、"初始化 CI/CD"、"规划部署方案"
Aether 集成规范速查 —— 四域 investigation-first hub。消费方项目里临时手写 dev env / 测试配置 / 连接串时的规范速查点 (#185→#186→#241 同根因三次复发的知识层加固)。 回答: "内网服务连接该用 consul 名还是 IP"、"数据库怎么连"、"DATABASE_URL 怎么写"、 "REDIS_URL 怎么写"、"连接串该用 IP 还是 consul"、"连 postgres/redis/内网服务的地址"、 "host volume 该注册几个节点/规范"、"stateful 服务模板规范"、"有状态服务该怎么配"、 "DB 密码该存哪"、"应用 secret 该存哪"、"连接串密码能不能硬编码进 HCL"。 使用场景: "Aether 集成规范速查"、"consul 名还是 IP"、"内网服务怎么连"、"数据库怎么连"、 "DATABASE_URL 怎么写"、"REDIS_URL 怎么写"、"连接串用 IP 还是 consul"、"连 postgres/redis 地址"、"host volume 该注册几个节点"、"volume 规范"、"stateful 服务模板规范"、"有状态服务 该怎么配"、"DB 密码该存哪"、"应用 secret 该存哪"、"连接串密码能不能硬编码进 HCL"
Aether 环境下 Forgejo 凭据的决策 / 诊断 / 轮换指南。回答"该用哪个 token"、 拆解人机两账号模型 (simonfish 人 / 10cg-ci-bot 机)、辨别 CF Access 与 forgejo PAT 两个凭据平面、诊断误导性 403 ("Only signed in user")、安全轮换 (先枚举全部 store)、 凭据卫生红线。深度内容指向 docs/guides/forgejo-token-map.md + .aether/pat-inventory.yaml。 使用场景: "该用哪个 forgejo token"、"which forgejo token"、"forgejo 401"、 "forgejo 403"、"Only signed in user"、"docker login forgejo"、"CF Access 403"、 "token rotation"、"凭据轮换"、"FORGEJO_TOKEN"、"forgejo credential"、 "人机账号"、"registry pull 401"、"docker push unauthorized"
管理 Nomad 节点的 host volume 配置。支持创建、列出、删除 volume。 使用场景："配置 volume"、"创建 host volume"、"删除 volume"、"查看 volume"
Aether 集群上 owner-triggered 一次性 build container 原语 (walking skeleton, #27). 把本地 git ref 的 tracked 树打包送上 heavy 节点宿主 docker, build + push 到内网 registry, 返回 immutable image_sha256 契约。无 CLI 子命令、无版本 bump、零 Go 代码。 使用场景: "build 镜像", "build aria-runner", "构建容器镜像", "build container", "把 Dockerfile 推到 registry", "image build", "用 Aether 跑 build", "10CG 项目 build image", "首次镜像构建", "无 CI 触发的镜像 build"
向 Aether 维护团队报告 Bug 或提交功能建议。自动收集环境信息， 自动路由到 Forgejo（内部用户）或 GitHub（外部用户）。 使用场景："报告 bug"、"report an issue"、"提交功能建议"、 "aether 有个问题想反馈"、"feature request"、"提 issue"、 "反馈问题"、"report bug to aether"