メニュー
Aether Plugin Skill 基准测试与回归检测工具。对所有 Skill 进行触发准确率、输出质量、 工具使用、错误处理、Token 效率五维评估，与存储的基准线对比并生成差异报告。 使用场景：Skill 优化后验证改进效果、发版前回归检测、首次建立基准线、 查看历史评估趋势。当用户提到"基准测试"、"benchmark"、"评估 skill"、 "skill 质量"、"回归测试"、"跑 eval"时触发。
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/10CG/aether-plugin --skill skill-benchmarkコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
Aether 集群集成规范速查 —— 四域 investigation-first hub。消费方项目在 **Aether 集群**上 手写 dev env / 测试配置 / 连接串时的规范速查点 (#185→#186→#241 同根因三次复发的知识层加固)。 **适用前提: 问题落在 Aether 集群 / Nomad / Consul / 内网 192.168.69.x 语境内。** 回答: "集群内服务连接该用 consul 名还是 IP"、"集群里的 postgres / redis / 内网服务怎么连"、 "集群内服务的 DATABASE_URL / REDIS_URL 该怎么写"、"连集群里的库该用 IP 还是 consul 名"、 "host volume 该注册几个节点 / volume 规范"、"Nomad 上 stateful 服务该怎么配 / 有状态服务 模板规范"、"集群里应用的 DB 密码 / 连接串密码该存哪"、"应用 secret 该存哪"、 "连接串密码能不能硬编码进 HCL"。 **不适用 (缺少集群语境就让位, 不要触发本 skill)**: 与 Aether 集群无关的通用数据库 / 连接串问题 —— 本地或第三方托管 DB 的驱动与客户端用法、连接参数排错、SQL 调优、ORM 配置。 这类问句里出现 "数据库怎么连" / "连接串" / "DATABASE_URL" 等字样**不构成触发条件**: 本 skill 的触发靠的是集群语境, 不是这些裸词。
Forgejo PAT (Personal Access Token) 凭据轮换工具 (Tier 1 / Aether #45)。 自动化 list / rotate / resume / cleanup 完整闭环, 含 atomic rollback + journal-based interrupt recovery + 24h grace + token fingerprint guard。 使用场景: "轮换 PAT", "rotate token", "PAT 即将过期", "doctor pat_age 报警", "registry-auth", "Forgejo token 过期", "凭据轮换", "renew PAT", "credential rotation", "rotation drill", "cleanup _OLD"
Aether 环境下 Forgejo 凭据的决策 / 诊断 / 轮换指南。回答"该用哪个 token"、 拆解人机两账号模型 (simonfish 人 / 10cg-ci-bot 机)、辨别 CF Access 与 forgejo PAT 两个凭据平面、诊断误导性 403 ("Only signed in user")、安全轮换 (先枚举全部 store)、 凭据卫生红线。深度内容指向 docs/guides/forgejo-token-map.md + .aether/pat-inventory.yaml。 使用场景: "该用哪个 forgejo token"、"which forgejo token"、"forgejo 401"、 "forgejo 403"、"Only signed in user"、"docker login forgejo"、"CF Access 403"、 "token rotation"、"凭据轮换"、"FORGEJO_TOKEN"、"forgejo credential"、 "人机账号"、"registry pull 401"、"docker push unauthorized"
SOC 職業分類に基づく
SKILL.md を表示中
| name | skill-benchmark |
| description | Aether Plugin Skill 基准测试与回归检测工具。对所有 Skill 进行触发准确率、输出质量、 工具使用、错误处理、Token 效率五维评估，与存储的基准线对比并生成差异报告。 使用场景：Skill 优化后验证改进效果、发版前回归检测、首次建立基准线、 查看历史评估趋势。当用户提到"基准测试"、"benchmark"、"评估 skill"、 "skill 质量"、"回归测试"、"跑 eval"时触发。 |
| argument-hint | [--skill <name>] [--update-baseline] [--report-only] |
| user-invocable | true |
| allowed-tools | Bash, Read, Write, Glob, Grep, Agent, Edit |
对 Aether Plugin 的所有 Skill 进行系统化质量评估，支持基准对比和回归检测。
基准线 (Baseline): 一组已确认的评估结果快照，作为后续优化的参考点。 评估用例 (Eval Case): 针对特定 Skill 的测试场景，包含输入、期望输出和断言。 回归 (Regression): 优化后某项指标低于基准线超过允许阈值。
/skill-benchmark → 评估所有 Skills，与基准线对比
/skill-benchmark --skill aether-status → 只评估指定 Skill
/skill-benchmark --update-baseline → 评估后更新基准线
/skill-benchmark --report-only → 只查看上次评估报告，不重新运行
evals/config.yaml 获取评估维度、阈值和权重evals/baseline.yaml 获取当前基准线（如果存在）evals/cases/{skill-name}/*.yaml
为每个目标 Skill 加载所有 eval case 文件。每个 case 定义：
name: "descriptive-test-name"
skill: "aether-status"
category: "trigger-accuracy" # 五维之一
input: "用户输入的提示词"
context: # 可选：模拟环境
files: []
env: {}
expected:
triggered: true # 是否应该触发此 Skill
tools_used: ["Bash"] # 期望使用的工具
output_contains: ["keyword"] # 输出应包含的关键字
output_not_contains: [] # 输出不应包含的内容
output_structure: "table" # 期望的输出结构
error_handled: false # 是否测试错误处理
tags: ["p0", "smoke"]
对每个 eval case：
触发准确率 (Trigger Accuracy)
输出质量 (Output Quality)
expected.output_contains 中所有关键字expected.output_structure工具使用 (Tool Usage)
expected.tools_used 中指定的工具错误处理 (Error Handling)
Token 效率 (Token Efficiency)
将当前评估结果与 evals/baseline.yaml 逐项对比：
╔══════════════════════════════════════════════════════════════╗
║ SKILL BENCHMARK REPORT ║
╚══════════════════════════════════════════════════════════════╝
📊 Overall Score: 87.3% (baseline: 82.1%, +5.2%)
┌─────────────────┬────────┬──────────┬────────┬────────┐
│ Skill │ Score │ Baseline │ Delta │ Status │
├─────────────────┼────────┼──────────┼────────┼────────┤
│ aether-status │ 92.0% │ 88.0% │ +4.0% │ ✅ UP │
│ aether-deploy │ 85.0% │ 85.0% │ 0.0% │ ── OK │
│ aether-init │ 78.0% │ 82.0% │ -4.0% │ ⚠️ DOWN│
│ ... │ │ │ │ │
└─────────────────┴────────┴──────────┴────────┴────────┘
📈 维度详情 (aether-status)
───────────────────────────────────────────────────────────
触发准确率: 95% (baseline: 90%, +5%) ✅
输出质量: 90% (baseline: 88%, +2%) ✅
工具使用: 92% (baseline: 85%, +7%) ✅
错误处理: 88% (baseline: 85%, +3%) ✅
Token 效率: 95% (baseline: 92%, +3%) ✅
⚠️ 回归检测
───────────────────────────────────────────────────────────
aether-init: 输出质量下降 4.0% (阈值: -10%) → 在阈值内
无阻断性回归
evals/results/{date}.yaml--update-baseline，确认后更新 evals/baseline.yaml不需要实际运行 Skill，而是分析 Skill 的 description 字段：
description 字段input，判断该描述是否能让 Claude 正确决定触发/不触发通过静态分析 SKILL.md 的指令质量：
# 计算 SKILL.md token 数（近似）
wc -w skills/{skill-name}/SKILL.md
# 计算 references 总量
wc -w skills/{skill-name}/references/*.md 2>/dev/null
# 信息密度 = 覆盖的功能数 / token 数
参考标准（来自 references/scoring-rubric.md）。
/skill-benchmark --update-baseline
首次运行时 baseline.yaml 不存在，评估完成后自动创建。
只有在确认改进有效后才更新：
# evals/baseline.yaml
version: "2026-03-17"
overall_score: 87.3
skills:
aether-status:
trigger_accuracy: 95.0
output_quality: 90.0
tool_usage: 92.0
error_handling: 88.0
token_efficiency: 95.0
overall: 92.0
aether-deploy:
# ...
每次评估结果保存到 evals/results/{date}.yaml，可回溯查看趋势。
详细的评估配置、阈值定义和评分标准见：
references/scoring-rubric.md — 五维评分细则evals/config.yaml — 阈值和权重配置每次 Skill 优化升级必须遵循以下流程：
1. 修改前运行基准测试 → 记录当前状态
2. 实施优化修改
3. 修改后运行基准测试 → 与修改前对比
4. 确认无回归后 → 更新基准线
5. 提交变更（包含评估报告）
这个流程通过 evals/config.yaml 中的 require_comparison: true 强制执行。