| name | starwhisper-explore |
| description | Evaluate an observing-policy comparison against the StarWhisper-Explore pre-registered bar and return pass/fail per criterion. Use for 决策边界, survey completeness vs transient follow-up, policy A/B comparison, stable negative result, GOAI Explore, or judging whether an agent policy actually cleared its threshold. Reads a metrics table; never simulates nights. |
| license | Apache-2.0 |
决策边界门槛判定
判断一个观测策略到底有没有过预注册的线，而不是挑好看的数字讲故事。
判定由 scripts/eval_gate.py 计算（stdlib）。脚本只读指标表，不跑仿真、不复现运行哈希。
规格见 explore/。StarWhisper-Explore-v0.2 是合成环境：兴隆、单镜、一夜六时隙、种子 11/22/33，环境代码不在本仓库。
默认读仓库的 explore/published_metrics.csv。自己的实验用 --csv 指过去，列名相同即可复用同一套判定。
何时使用
- "规则 Agent 比确定性优先级好吗""这算不算正向结果"
- "我这轮跑完了，过线没有"
- "完成度掉了几个点还能接受吗"
- "写论文时这个结论该怎么措辞"
工作流
顺序不能反。 先 bar 把门槛说出来，再 table 看数字，最后 gate 判定。看完数字再定门槛就是 p-hacking。
bar —— 念出预注册门槛，四条一条不漏。table —— 看四个策略的原始指标。gate —— 逐条判定，输出 verdict。- 按 verdict 措辞，不要自己润色成"接近通过"。
门槛
| # | 判据 | 阈值 | 性质 |
|---|
| 1 | 主动安全违规 | 必须为 0 | 必需 |
| 2 | 无效动作率 | ≤ 1% | 必需 |
| 3 | 巡天完成度相对最强非 Agent 参照 | 下降 ≤ 5 个百分点 | 必需 |
| 4 | 高价值暂现源跟进率 或 科学效用 | 相对 +20% 或 +5% | 二选一 |
前三条全过、且第四条至少中一个，才是 positive。必需项挂了就是 negative；必需项都过但第四条两个都没中，是 inconclusive。最强非 Agent 参照默认取平均效用最高的非 Agent 策略。
脚本用法
python scripts/eval_gate.py bar
python scripts/eval_gate.py table
python scripts/eval_gate.py gate --agent rule_agent
python scripts/eval_gate.py gate --agent rule_agent --baseline deterministic_priority --slots 6
python scripts/eval_gate.py gate --csv my_run.csv --agent my_policy --json
gate 在非 positive 时退出码为 1，可以直接当门禁用。指标表需要这些列：policy,mean_utility,survey_completeness_pct,high_value_followup_pct,invalid_actions,unsafe_attempts_blocked,episodes。
已公开结果
规则 Agent 对确定性优先级：跟进率相对高 47.22%（绝对 23.52 个百分点），效用高 1.63%，完成度低 9.44 个百分点。第 3 条判负，verdict 是 negative。
这是稳定负结果：三个种子方向一致。短期响应换来了过量的巡天欠账。这个结论本身有价值，不要写成"接近达标"或"部分成功"。
报告纪律
- 门槛先于数字。
- 失败的 episode 照报，指标不能事后替换。
- 合成暂现源不写"发现"。
- 三级验证路径：合成 → 脱敏日志 → 硬件影子（只建议不执行）。公开结果停在第一级，别说成硬件闭环。
- 不要实现一个假环境去声称原始哈希。
相关
真实观测栈的夜计划检查用 starwhisper-night-plan；候选源筛选用 starwhisper-snclock。
