القائمة
AI Native 产品方法论——影子验证的实操 Skill。 用户提供收敛决策结论，Skill 自动执行影子验证： 影子系统设计 → 并行运行方案 → 人工对比机制 → 失败模式沉淀 → 审计放行证据 → 输出影子验证报告。 基于《AI Native 产品方法论》第10章（试验展开-影子验证）。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
AI Native 产品方法论——价值发现循环的实操 Skill。 用户提供已上线或正在验证的 AI 产品，Skill 自动执行价值发现流程： 价值信号识别 → 伪价值排除 → 价值密度评估 → 市场测试设计 → 定价策略联动 → 方向修正建议 → 输出价值发现方案。 基于《AI Native 产品方法论》第22章。
《观照》全书编排器——根据用户输入的问题类型，路由到对应的章节Skill，串联全链路决策修正流程
检查方法使用的前提是否成立——识别情境变化、验证假设前提、重配适用方法
先看机制是否有害，再看结果是否有效——价值/代价/情绪/退出权四重检查
停止错误方向，也是一种推进——归零分析、暂停策略、止损决策
收入从哪里来，产品就会站在哪边——收入来源审视与激励偏差检查
| name | p2e-shadow-validation |
| description | AI Native 产品方法论——影子验证的实操 Skill。 用户提供收敛决策结论，Skill 自动执行影子验证： 影子系统设计 → 并行运行方案 → 人工对比机制 → 失败模式沉淀 → 审计放行证据 → 输出影子验证报告。 基于《AI Native 产品方法论》第10章（试验展开-影子验证）。 |
| tags | ["ai-product","methodology","shadow-validation","shadow-system","production-ready","book-skill"] |
| author | Max |
| source_book | AI Native 产品方法论 |
| source_chapter | 第10章 试验展开-影子验证 |
| version | 1 |
| stage | p2e |
| homepage | https://github.com/gmaxxxie/ai-native-product-agent-skills/tree/main/skills/p2e-shadow-validation |
| 验证方式 | 真实性 | 风险 | 证据质量 | 适用阶段 |
|---|---|---|---|---|
| 离线评估 | 最低 | 无 | 中（样本偏差） | 能力实验 |
| 影子验证 | 中 | 低 | 高（真实流量） | 放行前验证 |
| 灰度上线 | 高 | 中 | 最高 | 生产运行 |
收敛决策通过
→ 影子系统设计
→ 并行运行方案
→ 人工对比机制
→ 失败模式沉淀
→ 审计放行证据
→ 灰度上线 / 继续影子验证
影子系统的核心设计原则：
真实工单进入
→ 人工流程（正常执行）
→ 影子系统（并行生成建议）
→ 建议存储（不外发）
→ 周度人工对比
→ 失败模式沉淀
→ 系统优化
运行参数设计：
| 参数 | 设计 | 理由 |
|---|---|---|
| 并行比例 | 从5%开始，逐步扩到50% | 控制初期风险 |
| 场景筛选 | 先从低风险场景开始 | 避免高风险场景先行暴雷 |
| 扩量节奏 | 采纳率连续2周>60%再扩 | 确保质量稳定后再放量 |
| 熔断机制 | 连续3次高风险误判自动暂停 | 防止持续出错 |
每周人工对比：
每次对比后沉淀失败案例：
| 失败类型 | 数量 | 占比 | 根因 | 改进方向 |
|---|---|---|---|---|
| 上下文丢失 | 12 | 24% | 会话状态未保留 | 补充记忆系统 |
| 风险漏过 | 5 | 10% | 边界规则不完善 | 收紧风险规则 |
| 知识缺失 | 8 | 16% | 知识库覆盖不足 | 补充知识库 |
影子验证报告需包含：
"客服 Copilot 收敛决策通过，准备进入影子验证"
影子系统设计:
架构: 侧边栏建议面板（不外发）
记录: 每次建议+人工对比+采纳标记
熔断: 连续3次赔付类误判自动暂停
并行运行方案:
第1周: 5%工单（低风险场景：订单查询）
第2周: 20%工单（+物流解释）
第3周: 50%工单（全场景）
扩量条件: 采纳率连续2周>65%
人工对比（第1周结果）:
样本: 60条
采纳率: 68%
错误率: 12%（主要：上下文丢失）
风险漏过率: 5%（主要：退款承诺）
失败模式:
Top1: 多轮上下文丢失（35%）→ 补充会话状态设计
Top2: 退款承诺误判（25%）→ 增加规则拦截
Top3: 知识库缺失（20%）→ 补充200条FAQ
审计放行证据:
✅ 采纳率68% > 60%阈值
⚠️ 风险漏过率5%（需强化规则后再放行高风险场景）
建议: 低风险场景先行灰度，高风险场景继续影子
基于书稿第10章，以下概念在执行本 Skill 时需深入理解：
基于书稿方法论，本 Skill 的完整执行分为 6 步：
"客服 Copilot 收敛决策通过，准备进入影子验证。已确定低风险场景（订单查询）和高风险场景（退款赔付）。"
影子系统设计:
架构:
生产链路: 真实工单 → 客服正常处理 → 回复客户
影子链路: 同一工单 → AI 生成建议 → 建议存储（不外发）
三条原则:
输出可见不执行: AI 建议仅在客服侧边栏显示，不自动发送
完整记录: 每次建议记录输入上下文、AI输出、置信度、客服是否采纳
可开关: 管理后台一键暂停影子系统
熔断规则:
连续 3 次赔付类误判 → 暂停该场景
风险漏过率 > 10% → 暂停全场景，人工排查
并行运行方案:
第 1 周:
并行比例: 5% 工单（约 25 条/天）
场景: 仅低风险（订单查询、物流状态）
目标: 验证基础流程是否通畅
第 2 周:
并行比例: 20% 工单（约 100 条/天）
场景: +物流解释、FAQ 回复
扩量条件: 第 1 周采纳率 > 60%
第 3 周:
并行比例: 50% 工单（约 250 条/天）
场景: 全场景（含售后政策）
扩量条件: 第 2 周采纳率 > 60% 且风险漏过率 < 5%
第 4 周:
并行比例: 50%（维持）
场景: 全场景
目标: 稳定运行，准备放行决策
人工对比（周度执行）:
第 1 周结果:
样本: 60 条
正确: 41 条（68%）
可接受: 10 条（17%）
错误: 7 条（12%）
风险误判: 2 条（3%）
采纳率: 68%
风险漏过率: 3%
第 2 周结果:
样本: 120 条
正确: 78 条（65%）
可接受: 22 条（18%）
错误: 14 条（12%）
风险误判: 6 条（5%）
采纳率: 65%
风险漏过率: 5%
失败模式分析:
Top 1: 多轮上下文丢失（占比 35%）
现象: 超过 3 轮对话后 AI 忘记前文
根因: 会话状态未保留到影子系统
改进: 补充会话记忆模块
Top 2: 退款承诺误判（占比 25%）
现象: AI 建议的退款金额超出政策允许范围
根因: 退款规则边界不清晰
改进: 增加退款规则硬编码拦截
Top 3: 知识库缺失（占比 20%）
现象: 特定品类的售后政策 AI 无法回答
根因: 该品类 FAQ 尚未入库
改进: 补充 200 条品类 FAQ
Top 4: 情绪误判（占比 12%）
率象: 客户已明显不满但 AI 未标记情绪风险
根因: 情绪检测模型未集成
改进: 集成情绪检测作为辅助信号
Top 5: 格式问题（占比 8%）
现象: AI 回复格式不统一
根因: 输出模板未强制
改进: 增加输出格式校验
与离线评估对比:
离线准确率: 88%
影子准确率: 83%（下降 5%）
新发现问题: 多轮上下文丢失（离线未测试）、情绪场景（离线样本不足）
结论: 影子验证发现了离线评估未覆盖的问题，验证了影子机制的必要性
审计放行证据:
运行概况:
并行时长: 4 周
总工单量: 约 2,800 条
场景分布: 订单查询 40%、物流 25%、售后 20%、其他 15%
质量指标:
采纳率: 66%（> 60% 阈值 ✅）
错误率: 12%（< 15% 阈值 ✅）
风险漏过率: 4.5%（< 5% 阈值 ✅）
放行建议:
✅ 低风险场景（订单查询、物流状态）: 达标，可进入灰度上线
⚠️ 中风险场景（售后政策）: 基本达标，建议灰度后继续观察
❌ 高风险场景（退款赔付）: 风险漏过仍存在，继续影子验证
后续计划:
灰度上线: 低风险场景先行，10% → 30% → 50% 逐步放量
继续影子: 高风险场景（退款赔付）再验证 2 周
系统优化: 会话记忆+退款规则拦截+品类FAQ补充（优先级从高到低）
"文档审核收敛决策通过，条款提取和批量初筛两个方向进入影子验证。审核对象是合同文档。"
影子系统设计:
架构:
生产链路: 法务上传合同 → 人工审核 → 出具审核意见
影子链路: 同一合同 → AI 提取条款+初筛分级 → 结果存储（不外发）
三条原则:
输出可见不执行: AI 结果在审核面板显示，不替代人工审核
完整记录: 每次提取记录输入文档、AI输出、置信度、法务对比结果
可开关: 法务主管可一键暂停
熔断规则:
条款提取遗漏率 > 10% → 暂停该合同类型
分级错误率 > 15% → 暂停自动分级
并行运行方案:
第 1 周:
并行比例: 10% 合同（约 15 份/天）
场景: 标准采购合同（模板化程度高）
目标: 验证条款提取准确率
第 2 周:
并行比例: 25% 合同
场景: +服务合同、租赁合同
扩量条件: 第 1 周提取准确率 > 88%
第 3 周:
并行比例: 50% 合同
场景: 全类型合同
目标: 验证批量初筛分级效果
第 4 周:
并行比例: 50%（维持）
场景: 全类型
目标: 稳定运行，准备放行决策
人工对比（周度执行）:
第 1 周结果:
样本: 40 份合同
条款提取:
正确: 36 份（90%）
部分遗漏: 3 份（7.5%）
严重遗漏: 1 份（2.5%）
初筛分级:
正确分级: 34 份（85%）
错误分级: 6 份（15%）
法务采纳率: 72%（用于辅助参考）
第 2 周结果:
样本: 80 份合同
条款提取准确率: 87%（非标合同比标准合同低 5%）
初筛分级准确率: 83%
法务采纳率: 68%
失败模式分析:
Top 1: 非标条款遗漏（占比 40%）
现象: 非标准模板合同中的特殊条款被遗漏
根因: 训练样本以标准合同为主，非标样本不足
改进: 补充 100 份非标合同样本
Top 2: 跨页条款断裂（占比 25%）
现象: 跨页的长条款被截断，只提取了部分内容
根因: 文档解析未处理跨页连贯性
改进: 优化文档解析器，增加跨页合并逻辑
Top 3: 分级标准偏差（占比 20%）
现象: 高风险合同被分为中风险
根因: 分级阈值需调整
改进: 收紧高风险判定阈值
Top 4: 格式识别错误（占比 15%）
现象: 表格中的条款未被正确识别
根因: 表格解析能力不足
改进: 增强表格解析模块
审计放行证据:
运行概况:
并行时长: 4 周
总合同量: 约 650 份
合同类型: 采购 45%、服务 30%、租赁 15%、其他 10%
质量指标:
条款提取准确率: 88%（> 85% 阈值 ✅）
初筛分级准确率: 84%（> 80% 阈值 ✅）
法务采纳率: 70%（> 65% 阈值 ✅）
条款遗漏率: 5%（< 8% 阈值 ✅）
放行建议:
✅ 标准采购合同: 条款提取和初筛均达标，可进入灰度
⚠️ 服务合同: 基本达标，灰度后继续观察
⚠️ 租赁合同: 样本量偏少，继续影子验证 2 周
❌ 非标合同: 准确率不足，继续影子验证
后续计划:
灰度上线: 标准采购合同先行，逐步扩展到服务合同
继续影子: 租赁合同+非标合同再验证
系统优化: 非标合同样本补充+跨页合并+表格解析增强+分级阈值调整