cheat-bump

name	cheat-bump
description	提議並執行 rubric 或 bucket 升級。兩種模式：**完整 rubric bump**（最高風險動作，5 步強制 + 跨模型審核）和 **--bucket-only 輕量重校**（只換 bucket 邊界，不動 rubric 公式）。**Phase 2 強制走 cheat-score-blind sub-agent 給校準池重打分**——不接受 self-scored fallback。觸發詞："升級 rubric"/"bump rubric"/"更新公式"/"我想加一個維度"/"調整權重"/"重校桶"/"recalibrate bucket"。
argument-hint	--propose "<...>" | --bucket-only
allowed-tools	Bash(*), Read, Write, Edit, Glob, Grep, Skill, Task, mcp__llm-chat__chat

/cheat-bump — Rubric / Bucket 升級

兩種模式：

模式	觸發	做什麼	驗證強度
完整 rubric bump	--propose "<新公式>"	改公式 / 維度 / 權重	5 步 + 跨模型審核（強制）
bucket-only 重校	--bucket-only	只重新派生 bucket 邊界	數據自動派生，無審核

完整 rubric bump 嚴格遵守 shared-references/bump-validation-protocol.md 的 5 步。bucket-only 走輕量路徑——見下方 Phase B。

Overview

入口：用戶觸發 /cheat-bump
  ↓
[Phase A0: 檢測調用模式]
  ↓
  ├─ --bucket-only  →  [Phase B: 輕量 bucket 重校]
  └─ --propose      →  [Phase 0~7: 完整 rubric bump]

Phase A0: 調用模式分流（先做）

讀用戶參數：

• 含 --bucket-only → 走 Phase B（輕量重校）
• 含 --propose "<...>" → 走 Phase 0~7（完整 rubric bump）
• 都沒有 → 詢問用戶："你想做什麼？1) 調 rubric 公式 / 加減維度 → --propose；2) 只重新派生 bucket 邊界 → --bucket-only"

如果用戶說"我覺得 IR 太低了想調"→ 是 --propose 路徑。 如果用戶說"我做了更多 session，bucket 邊界不準了"→ 是 --bucket-only 路徑。 兩條路徑不能混調——一次操作只做一種事。

---

完整 rubric bump 流程

[用戶：升級 rubric --propose "IR×1.5，砍 TS，加 DX"]
  ↓
[Phase 0: 前置門檻檢查]
  ↓
[Phase 1: 寫出新公式完整方程]
  ↓
[Phase 2: 校準池全量重打分]
  ↓
[Phase 3: 計算排序一致性]
  ↓
[Phase 4: 跨模型獨立審核（強制）]
  ↓
[Phase 5: 落地 + cleanup pass]
  ↓
[Phase 6: 更新所有校準樣本的 prediction 文件底部追加 Re-scored 行]
  ↓
[Phase 7: 更新 state file]

Constants

• READINESS_HEURISTIC —
  • 默認參考：校準池 ≥ 2 樣本
  • 但 Claude 可以提議 bump（即使樣本少）如果觀察信號特別強：
    • N=3 但出現完全推翻當前 rubric 假設的強反例（composite 高但實際 K% 很低這種 ≥3x 偏差）
    • 1 篇出現單點但極強的現象
  • Claude 也可以拒絕 bump（即使樣本足）如果證據弱：
    • N=10 但觀察都是低置信度的零碎 pattern，無清晰方向
  • 寫在 prediction header 或 cheat-bump 輸出時必說明：本次提議是 default-aligned 還是 judgment-driven
• THRESHOLD = 0.8 — 新排序與實績排序一致性閾值（4/5）。這條寫死
• CROSS_MODEL_AUDIT = true — 調外部 LLM 獨立審核。false 僅用於離線
• REQUIRE_CONFIRM = true — 落地前要求用戶明確"yes, bump"

Inputs

必填	來源
--propose 文本	用戶參數；缺失則詢問
rubric_notes.md	用戶項目根
predictions/*.md 全量	校準池數據
.cheat-state.json	狀態

Workflow

Phase 0: 前置門檻檢查

按 bump-validation-protocol.md 的"何時禁止"段，逐項檢查：

檢查	失敗處理
校準池總樣本數 vs 觀察強度	Claude 判斷——按 READINESS_HEURISTIC。不滿足默認時 Claude 必須顯式說明為什麼仍然提議 bump
上次 bump 距今的新校準數 vs 觀察成熟度	Claude 判斷——默認建議 ≥3 篇新樣本
in_progress_session == null	拒絕："你有 in-progress 預測未完成。先走完那條流程或清掉 state"
觸發條件成立（系統性偏差 / 跨樣本新觀察 / 新維度證據足）	警告但不阻塞——詢問用戶為什麼現在 bump

通過 → 進入 Phase 1。

Phase 1: 寫出新公式完整方程

不能只接受用戶的簡短描述。把它展開為完整方程：

當前：v0  composite = (SP + LV + TS + CO + IR) / 5
提議：v1  composite = (SP + LV×1.5 + CO×1.5 + IR×2.0 + DX) / 7.0

變化總結：
- LV ×1.0 → ×1.5（升，AI 槓桿點更重要）
- CO ×1.0 → ×1.5（升）
- IR ×1.0 → ×2.0（升，集成風險是主要偏差來源）
- 刪除 TS（與 CO 重疊）
- 新增 DX ×1.0（Documentation Quality）
- 歸一化常數 5 → 7.0
- 公式總維度數：5 → 5（淨變化 0）

如果用戶的提議含糊（如"IR 權重提一點"）→ 詢問具體數值，禁止自己猜。

Phase 2: 校準池全量重打分（強制走 blind sub-agent）

Glob predictions/*.md 中所有有完整復盤段的文件 → 校準池。

bump 是工具最高風險動作——所有重打必須走 cheat-score-blind sub-agent。inline 重打 = 主 Claude 已經看過實績，rank 一致性變成 overfit 而非真信號。

強制約束

• 不接受 self-scored fallback——/cheat-predict 有 --skip-blind flag，但 /cheat-bump 沒有。如果 Task tool 不可用 → abort bump，向用戶報告"先解決 Task tool 再 bump"
• 不接受"我只重算 composite 不重打 dim" —— 即使新公式只調權重不加維度，每條 prediction 的所有 dim 都要由 sub-agent 重新審 script

對每篇 prediction：

1. 解析 prediction 文件拿到對應 scripts/<id>.md 路徑（從 Script Path header 字段）
2. 校驗 script 文件存在 + hash 跟 header Script Hash 一致；不一致 → 警告（script 改過了）但仍 spawn sub-agent
3. 通過 Task tool spawn cheat-score-blind sub-agent：

   Spawn cheat-score-blind sub-agent.
   
   Input:
     script_path: <prediction header 的 Script Path>
     rubric_notes_path: rubric_notes.md
     sidecar_path: .cheat-cache/bump-rescores/<prediction-id>.json
   
   Task: 按 rubric_notes 當前公式（已是新版 vN+1）給 script 打分。
   返回嚴格 JSON。寫 sidecar 文件用於 bump 主流程批量讀取。
   
   不要讀 state file / predictions/ / sessions/ 任何其他文件。
   不要詢問用戶 —— 你沒有用戶。
   不要讀這份 prediction 文件本身 —— 你只看 script + rubric。
   

4. 等 sub-agent 完成 → 讀 sidecar JSON → 主流程用新公式算 composite
5. 寫"重打表"到 .cheat-cache/bump-rescores.json（匯總）。每條 entry 標 blind: true

殘余污染誠實標注

即使走 sub-agent，仍有兩類殘余 contamination 要在 bump report 里誠實標注：

類型	來源	標注字段
模型 prior contamination	sub-agent 仍是 Claude，RLHF 共享	model_prior_warning: true（默認 true，不可關）
用戶自己 rubric design bias	rubric_notes.md 是用戶寫的，自然 fit 自己內容	rubric_self_designed: true（默認 true，不可關）

bump 報告末尾必印："上面的 rank 一致性是 channel A 內的一致性。最終決策必須等 channel C audit 通過。"

失敗模式

症狀	處理
某條 prediction 的 script 文件不見了	sub-agent skip 該條，主流程匯總報告"N 條因 script 缺失被排除"。如剩余有效池 < MIN_SAMPLES → abort bump
sub-agent 返回 refusal != null	重發 Task 最多 3 次；仍敗 → 該條標 rescore_failed: true 排除出校準池
Task tool 整個不可用	abort bump，提示用戶"Task tool 是 bump 的硬依賴。如真的離線環境，跑 /cheat-bump --bucket-only 走輕量分支"
sub-agent 輸出含 contamination_signal	標 suspicious: true 但不排除——bump report 末尾列這些可疑條目讓用戶審

Phase 3: 計算排序一致性

對校準池每個樣本，用新公式算 composite，與實際結果（K%/Q分/留存分等，按域從復盤段讀）排名對比：

每個樣本：
  new_composite_rank: 用新公式排序的 rank
  actual_outcome_rank: 用實際結果排序的 rank
  delta: |new_rank - actual_rank|

輸出對照表（以 ai-coding 為例）：
| 樣本 | composite (v0) | composite (v1) | rank (new) | actual K% | rank (actual) | delta |
|---|---|---|---|---|---|---|
| pdf2excel   | 3.20 | 4.15 | 1 | K=72% | 1 | 0 |
| auth-module | 2.80 | 3.60 | 2 | K=55% | 2 | 0 |
| data-import | 3.50 | 3.20 | 4 | K=68% | 3 | 1 |
| ui-refactor | 3.00 | 2.90 | 5 | K=40% | 4 | 1 |
| api-client  | 2.50 | 2.40 | 6 | K=30% | 5 | 1 |

排序一致性：4/5 在 |delta| ≤ 1

判定：

• 排序一致性 < THRESHOLD（默認 0.8）→ 本地拒絕，轉 Phase 4 之前明確報告失敗
• pairwise 出現回歸 → 本地拒絕

THRESHOLD 寫死在協議里——不允許臨時調低（那本身是另一個需要 bump 的元決策）。

Phase 4: 跨模型獨立審核（強制，除非 escape hatch）

CROSS_MODEL_AUDIT=true（默認）：

調用 mcp__llm-chat__chat：

prompt:
你是一個獨立審核人。下面是一個用戶準備升級的 rubric 公式。
請獨立判定兩件事：
1. 排序一致性：新公式給樣本的排序與實際結果排序，是否真的在 ≥80% 樣本上一致？
2. 解釋力：新公式相比舊公式，是否更好地解釋了校準池的實績分布？

數據：
舊公式：(SP + LV + TS + CO + IR) / 5
新公式：(SP + LV×1.5 + CO×1.5 + IR×2.0 + DX) / 7.0

校準池：
[Phase 2 重打表的完整 JSON]

排序對照：
[Phase 3 表格的完整 JSON]

輸出格式：
- 判定：PASS 或 REJECT
- 理由：≥100 字
- 關鍵風險：[如有，列出新公式的潛在問題]

收到外部 LLM 回復 → 解析判定。

判定邏輯：

• 本地 PASS + 外部 PASS → 通過，進入 Phase 5
• 本地 PASS + 外部 REJECT → 視為 REJECT。衝突意味著至少一方解讀不穩定
• 本地 REJECT → 已在 Phase 3 終止
• mcp__llm-chat__chat 不可用 → 優雅降級到 CROSS_MODEL_AUDIT=false，state file 標 last_bump_self_audited: true

CROSS_MODEL_AUDIT=false：

• 僅依賴本地判定
• state file 持續標記，cheat-status 持續提示用戶"這次 bump 是自審，建議配置 mcp__llm-chat__chat"

Phase 5: 落地 + cleanup pass

通過審核後，REQUIRE_CONFIRM=true → 詢問用戶："新公式 PASS 本地與外部審核。最後確認：執行 bump 落地？這會修改 rubric_notes.md + rubric-memo.md 並刪除若干已被吸收的觀察。回答 'yes, bump' 才執行。"

用戶確認後：

5a. 更新 rubric_notes.md（只放通用語言，不含樣本名 / 實績）

• 頂部 metadata 更新：
  • **當前版本**: vN+1
  • **Last bumped at**: <ISO 8601>
  • **Upgrade memos**: 見 [rubric-memo.md](rubric-memo.md)（指針，不復制 Memo 內容）
• 版本速查表加一行（只含版本號 + 公式簽名，不含證據樣本）
• 更新"當前評分維度"段（按提議增刪維度）
• 派生證據段 如新維度需要錨點解釋 → 用通用語言：
  • ✅ 允許：「派生證據：集成風險高的樣本 → IR 偏差大 → 低 K%」
  • ❌ 禁止：「派生證據：「pdf2excel」IR=2 → 實際 K%=35%」（樣本名 + 實績數字）
  • 命中違禁 pattern → 把該段抽到 rubric-memo.md，原位用通用語言替代

5b. 寫 Memo 到 rubric-memo.md（append 模式，不覆蓋歷史）

按 bump-validation-protocol.md Step 5 格式 append 一段 Memo 到文件末尾：

• 觸發觀察（含真實觀察 ID）
• 證據數據（校準池重打表 + 排序對照，含真實樣本名 + 實績）
• 派生證據（含真實樣本名 + 實績）
• 診斷
• 新公式
• 跨模型審核結論引用（含模型名 + 判定 + 理由摘錄）
• 已知局限

絕不覆蓋 rubric-memo.md 已有內容——bump memo 按時間順序累積。

5c. cleanup pass（按 observation-lifecycle.md 的"cleanup pass 強制時機"）

在 rubric_notes.md 內執行（不動 rubric-memo.md）：

• 已被吸收為新維度的觀察 → 刪
• 被新數據推翻的觀察 → 刪
• 仍未解決的觀察 → 遷移到新版本"待驗證假設"段
• 已被驗證的"規律"→ 移到"規律沉淀區"

5d. 整理 + 自檢

• 重新讀 rubric_notes.md 全文，確保讀者能在 60 秒內理解當下規則——超出 600 行觸發額外清算
• 自檢 leak guard：對 rubric_notes.md 跑 grep -E '實際|實績|K%=|RW%=|Q=|留存' → 如有命中 → abort bump + 回滾，提示用戶"rubric_notes.md 寫入了違禁內容（實績 / 結果數字）"。這些內容應在 rubric-memo.md，不在 rubric_notes.md

Phase 6: 校準樣本批量更新

對每個校準樣本的 prediction 文件，底部追加（不動預測段、不動復盤段）：

---
**Re-scored under v1 on 2026-05-29**: composite=3.20 → 4.15 (blind: true)
（rubric bump 時全量重算，由 cheat-score-blind sub-agent 獨立打分；詳見 rubric-memo.md 的 v0 → v1 升級 Memo）

blind: true 字段必填——告訴未來讀這條記錄的人"這是 channel B 隔離打分，不是主 Claude 自評"。

Phase 7: 更新 state file

{
  "rubric_version": "v1",
  "last_bump_at": "<ISO timestamp>",
  "last_bump_self_audited": false,
  "consecutive_directional_errors": [],
  "calibration_samples_at_last_bump": "<current value>"
}

清空 consecutive_directional_errors——新 rubric 重新計數。

Phase 8: 控制台報告

✅ Rubric 已升級 v0 → v1

變化：
- LV ×1.0 → ×1.5
- CO ×1.0 → ×1.5
- IR ×1.0 → ×2.0
- 新增 DX ×1.0
- 刪除 TS

校準池重打：5/5 通過排序檢查（4/5 一致 + 0 pairwise 回歸）
跨模型審核：✅ PASS
Cleanup pass：刪除觀察 B 和 C（已吸收為 IR 重定義和 DX 維度）

下一篇預測起按 v1 公式打分。
所有歷史預測文件已追加 Re-scored 標記。

---

Phase B：bucket-only 重校（輕量分支）

/cheat-bump --bucket-only

與完整 bump 的本質區別：bucket 邊界不是規則的一部分，是數據派生量。重新派生它不需要跨模型審核——派生算法是確定性的，沒有"判斷"成分。

B1: 讀實際結果分布

Glob predictions/*.md 中所有有完整復盤段且含實際結果的文件 → 按域讀對應實績：

域	讀取字段
ai-coding	復盤段中的 actual_K（%） 和 actual_RW（%）
daily-work	復盤段中的 actual_Q（0-10） 和 actual_TR（時間比）
daily-learning	復盤段中的 actual_R（留存分 0-10） 和 actual_A（應用率 %）

如果有效樣本數 < 3 → 提示用戶"樣本太少（N<3），bucket 重校意義有限。建議繼續積累樣本後再跑。是否仍繼續？"

B2: 派生新邊界（按樣本數自動選算法）

算法	適用	邊界派生方式
ratio（N=1-4）	小樣本	最近 3 個樣本中位數 × {0.5 / 1 / 1.5} 作為低/中/高閾值
percentile（N≥5）	中大樣本	實際分布 percentile {p30 / p60 / p85} 派生 3 檔邊界

--scheme 參數允許用戶顯式覆蓋默認。

以 ai-coding 為例（percentile 模式，N=8）：

收集到的 actual_K%：35 / 45 / 55 / 62 / 68 / 72 / 78 / 85
p30 = 50%，p60 = 65%，p85 = 79%

新 K% 邊界：
- 低：< 50%（低留存，大量 rework）
- 中：50-65%
- 高：65-79%
- 極高：> 79%

收集到的 actual_RW%：15 / 20 / 25 / 28 / 33 / 38 / 42 / 55
p30 = 22%，p60 = 31%，p85 = 45%

新 RW% 邊界：
- 低：< 22%（幾乎不需要返工）
- 中：22-31%
- 高：31-45%
- 極高：> 45%

B3: 報告變化 + 用戶確認

bucket 重校（ai-coding 域，N=8 個樣本）

K% 邊界（舊 → 新）：
- 低:  < 40%      →  < 50%
- 中:  40-65%     →  50-65%
- 高:  65-80%     →  65-79%
- 極高: > 80%     →  > 79%

RW% 邊界（舊 → 新）：
- 低:  < 20%      →  < 22%
- 中:  20-35%     →  22-31%
- 高:  35-50%     →  31-45%
- 極高: > 50%     →  > 45%

派生說明：
- 算法：percentile（N=8 ≥ 5）
- 數據基礎：8 個 session 的實際結果

確認應用？(yes / no)

B4: 落地

用戶確認後：

1. 編輯 rubric_notes.md 的 "Bucket 方案" 段，替換為新表
2. 在 rubric_notes.md 的 bucket 段頂部追加一行變更記錄：v0 buckets recalibrated on YYYY-MM-DD: scheme=percentile, N=8 個樣本
3. 不修改任何 prediction 文件——歷史預測的 bucket 標簽保持原樣

B5: 對未來預測的影響

下一次 /cheat-predict 起按新 bucket 邊界派生。歷史 prediction 文件里的 bucket 標簽不重算——bucket 是預測時的語義判斷，事後改寫會破壞盲度。

Phase B 不做的事

• 不重打 composite（公式沒變）
• 不重新審核觀察段（rubric 沒變）
• 不調跨模型審核（確定性派生無需判斷）

---

Key Rules

1. 5 步不可跳（僅完整 rubric bump）。任何"先簡化跑一下"的請求都拒絕
2. THRESHOLD 寫死（僅完整 rubric bump）。不允許動態調整
3. 跨模型審核是默認（僅完整 rubric bump）。關閉審核需要在 state file 顯式標記
4. cleanup pass 是 bump 的一部分（僅完整 rubric bump）。不允許 bump 完不清理觀察段
5. REQUIRE_CONFIRM（兩種模式都要）。最後落地前必須用戶明確說 "yes, bump" 或 "yes, recalibrate"
6. bucket 重校不動歷史預測。bucket 是預測時語義，事後改寫破壞盲度

Refusals

• 「跳過校準池重打，直接換公式」 → 拒絕
• 「跳過 cheat-score-blind sub-agent，主 Claude 直接重打就行」 → 拒絕。bump 不接受任何 self-scored fallback——sub-agent 不可用 → abort bump
• 「跳過外部 LLM 審核」 → 僅當 CROSS_MODEL_AUDIT=false 顯式設置
• 「這次 THRESHOLD 調到 3/5 讓它過」 → 拒絕。改 THRESHOLD 是元層級 bump
• 「保留所有舊觀察作為歷史」 → 違反原則 #3
• 「先 bump，cleanup 下次再做」 → 拒絕。cleanup 是 bump 的一部分
• 「只重算 composite 不重打 dim」 → 拒絕。新權重 × 舊 dim 仍是舊污染
• 「把 Memo 全文寫進 rubric_notes.md 頂部，方便我讀」 → 拒絕。rubric_notes.md 是 blind sub-agent 白名單——含樣本名 / 實績 → 通過白名單泄漏。Memo 寫 rubric-memo.md，rubric_notes.md 只放公式 + 通用語言

Integration

• 上游：/cheat-retro 檢測到 ≥3 同向偏差 → 提議跑 /cheat-bump
• 依賴：mcp__llm-chat__chat（如配置）+ Task tool（spawn cheat-score-blind）
• 修改：
  • rubric_notes.md（結構性更新，絕不寫真實樣本名 / 實績）
  • rubric-memo.md（append——含完整證據 + 派生證據）
  • 所有 predictions/*.md（追加 Re-scored 行，不動預測段）
  • .cheat-state.json
• 下游：下一篇 /cheat-predict 自動按新 rubric_version 打分