| name | experiment-report |
| description | Render AutoResearch experiment reports from manifests, logs, W&B data, Prometheus evidence, and formal Verl case outputs. Use when building or diagnosing report HTML, Chinese report copy, bundle-local artifact loading, validation matrix explanations, or missing metric diagnostics. |
Skill 08: experiment-report
单页 HTML 报告 (log / wandb / prom 三视图)。
Boundary
| Use | Don't Use |
|---|
| 读 manifest (调 datalake/manifest) | 任何采集 (这是 07) |
| 渲染 wandb 曲线截图 / 表格 | 跑用例 / 跑 stack |
| 渲染 prom 资源曲线 | 改配置 / 改密钥 |
| 渲染 log 关键事件 timeline | |
| 展示本次使用的 repo skill 和交付件完整性 | 修改训练脚本行为 |
| 对 val-only / train 模式、0 分原因、Prometheus 缺指标给出诊断 | 把诊断当成新的实验结论 |
报告可读性规范
- 报告面向本地中文使用者，用户可见文案默认中文。
- 顶部必须说明数据来源：manifest、matrix、logs、wandb、prom evidence；实时服务不可用时，报告不能直接判定实验无数据。
- Formal Verl Case 必须显示：
- 是否
trainer_val_only=True；
- 矩阵完整性和每行状态；
- 序列长度影响、sync/async 对比、准确率/一致性；
- W&B Web run 链接和 raw offline run 恢复入口；
- Prometheus evidence 中已推/缺失的指标；
- 本次使用的
.agents/skills/01..08 和 workspace-adapter/verl。
- 交付件路径优先从数据包本地解析；旧 manifest 中的绝对路径只作为线索，不作为唯一真相。
本次 TOP3 问题沉淀
- 英文报告影响交付阅读：报告标题、表头、告警、诊断和交付件说明全部中文化；机器 key 保持英文稳定。
- 验证矩阵被误读成 GRPO 训练：只要
trainer_val_only=True，报告必须明确标为“验证矩阵”，并提示不会更新模型参数。
- 0 分需要可解释：报告要引导查看
rows/*/validation/0.jsonl 的 output/gts/acc；严格 reward 可能因未输出 \\boxed{} 或抽取失败记为 0。
入口
python3 .agents/skills/08-experiment-report/scripts/render_report.py \
--run-id 2026-06-06-smoke-001 --open
状态
✅ Phase 10 已具备 formal case 中文报告骨架；后续补资源曲线后继续扩展 Prometheus 图表。
