rl-reward-diagnosis

# RL Reward Diagnosis 诊断智能体行为问题的奖励结构根因。 ## When to Use - 智能体表现出"不合理"行为（乱放技能、徘徊、不打英雄、推塔慢等） - 团队问"为什么智能体XXX" - 训练监控中某个 reward 分项异常或 value_loss 某头异常高 - 评估奖励改动的效果 Don't use for: 训练数据抓取（用 monitor-analyzer）、代码位置查找（用 rl-advisor） ## 参考资料 - `references/region-examples.md` — 区域赛奖励诊断实例（乱放技能、徘徊、不打英雄、value_loss异常） - `references/skill-whiff-rate-diagnosis.md` — 技能放空率100%的数据源缺失诊断 ## 核心原则 **智能体永远在按奖励规则最优行动。** 如果行为"不合理"，问题一定在奖励结构，不在智能体本身。 ## 诊断流程 ### Step 1: 读取奖励配置 ```python # 读 conf.py 中的 REWARD_WEIGHT_DICT 和 SKILL_HIT_WEIGHT # 读 reward_process.py 中的 get_reward() 理解计算方式 ``` ### Step 2: 对照行为分析信号 将奖励信号按"鼓励/惩罚"和"目标行为/实际行为"画成矩阵，找冲突。 ### Step 3: 检查 value_loss 分项 如果某个 value_loss 分项异常高（其他头的10倍以上），说明该维度的值网络拟合失败。 ## 常见行为问题诊断清单 详见 `references/reward-diagnosis.md` ## 监控指标异常诊断 行为问题之外，监控面板上的指标异常也需要诊断。典型模式：指标值为极端值（0%或100%），通常是数据源缺失而非智能体行为问题。 ### 技能放空率 100%（skill_whiff_rate = 1.0） **症状**：`skill_whiff_rate` 持续 1.0，`skill_hit_rate` 为 0，`skill_cast_rate` > 0。 **根因**：`hit_target_info` 字段在游戏帧数据中始终为空列表 `[]`。 **代码路径**：`train_workflow.py` `_append_skill_usage_metrics()` → `reward_process.py` `_skill_cast_hit_stats()` → 从 `hit_target_info` 提取命中技能槽集合，成功释放但不在命中集合中 → whiff。若 `hit_target_info` 恒为空 → 所有 cast 都被判为 whiff。 **结论**：数据源缺失问题，非智能体行为问题。放空率指标在此条件下无意义。 详见 `references/skill-whiff-rate-diagnosis.md` | 检查项 | 位置 | 诊断标准 | |--------|------|----------| | 技能命中权重 | conf.py SKILL_HIT_WEIGHT | < 0.01 = 信号太弱 | | 技能浪费惩罚 | reward_process.py | 缺失 = CD好了就放 | | 技能落空惩罚 | reward_process.py | 缺失 = 打空无代价 | | 敌方在射程特征 | hero_process.py | 缺失 = 难推算释放时机 | **典型根因**：技能命中奖励极低(0.005~0.01)，无浪费/落空惩罚 → "放不放都一样" → 随便放 ### 徘徊/往回跑（前后摇摆不定） | 检查项 | 位置 | 诊断标准 | |--------|------|----------| | forward 权重 | conf.py | 过高 = 被推进奖励反复拉扯 | | death_point 权重 | conf.py | 过重(如-1.0) + 战斗弱 = 恐惧回避 | | 战斗奖励 | conf.py | 过弱 = 打不赢 → 被迫撤退 → 被forward拉回 | **典型根因**：forward往前推，death往回拉，战斗能力不足撑不住前线 → 振荡 ### 不打英雄（优先补刀/回避战斗） | 检查项 | 位置 | 诊断标准 | |--------|------|----------| | kill_point 权重 | conf.py | **负值 = 直接惩罚击杀**（最致命） | | death_point 权重 | conf.py | -1.0 + kill负值 = 打英雄双亏 | | last_hit 权重 | conf.py | 远高于kill = 补刀比打架划算 | | 技能命中权重 | SKILL_HIT_WEIGHT | < 0.01 = 打到英雄无感 | **典型根因**：kill_point为负 + last_hit正奖励 → "打英雄亏本，补刀稳赚" → 回避战斗 ### 推塔慢（不主动攻击防御塔） | 检查项 | 位置 | 诊断标准 | |--------|------|----------| | attack_tower 权重 | conf.py | < 0.1 = 打塔信号弱 | | tower_hp_point 权重 | conf.py | 过高 = 只关心己方塔 | | forward 权重 | conf.py | 过高 = 只想往前走，不打塔 | ## value_loss 分项诊断 | 异常头 | 可能原因 | |--------|----------| | value_loss_econ 异常高 | money/exp权重太小但数据方差极大（累计值差分） | | value_loss_hp 异常高 | hp权重过大或血量变化过于剧烈 | | value_loss_tower 异常高 | tower_hp和forward信号冲突 | | value_loss_combat 异常高 | combat子项太多，信号混杂 | ## 奖励改动效果评估 | 观察维度 | 指标 | 预期变化 | |----------|------|----------| | 目标行为是否增加 | 对应reward分项 | 上升 | | 非目标行为是否减少 | 其他reward分项 | 不应大幅下降 | | 胜率 | win_rate | 不应下降 | | 值网络稳定性 | 对应value_loss | 不应飙升 | | 对局时间 | episode_frame | 不应大幅增加 | ## 架构层面问题（非奖励能解决） | 问题 | 根因 | 解法 | |------|------|------| | 技能方向不准 | 6个动作头独立采样，无条件依赖 | 架构改造：条件化动作头 | | 非相关头梯度噪声 | 所有头都参与策略梯度 | IS_REINFORCE_TASK_LIST 设False | | sub_action_mask未利用 | 方向头未被button类型过滤 | 用mask约束所有子动作头 | ## 区域赛奖励结构参考 conf.py REWARD_WEIGHT_DICT: - hp_point: 2.0, tower_hp_point: 6.0, forward: 0.01 - money_point: 0.006, exp_point: 0.0055, ep_rate: 0.75 - last_hit: 0.5, attack_tower: 0.3, passive_stack: 0.0005 - kill_point: 0.2, death_point: -1.0 SKILL_HIT_WEIGHT: - 鲁班: s1=0.045, s2=0.055, s3=0.0 - 狄仁杰: s1=0.03, s2=0.0, s3=0.2 特殊奖励: 狄仁杰解控0.15, 召唤师浪费-0.5