| name | p2d-convergence-decision |
| description | AI Native 产品方法论——目标收敛与产品决策的实操 Skill。
用户提供多轮实验记录,Skill 自动执行收敛分析:
实验记录整理 → 证据对比分析 → 收敛信号识别 → 产品决策 → 输出收敛报告与决策结论。
基于《AI Native 产品方法论》第09章(试验展开-目标收敛与产品决策)。
|
| tags | ["ai-product","methodology","convergence","decision","experiment-record","book-skill"] |
| author | Max |
| source_book | AI Native 产品方法论 |
| source_chapter | 第09章 试验展开-目标收敛与产品决策 |
| version | 1 |
| stage | p2d |
| homepage | https://github.com/gmaxxxie/ai-native-product-agent-skills/tree/main/skills/p2d-convergence-decision |
目标收敛与产品决策 Skill
使用场景
- 多轮实验已完成,需要判断哪些方向值得继续投入
- 实验结果分散,需要系统化整理和比较
- 需要从"还能试什么"收敛到"现在该做什么、不该做什么"
核心概念
- 收敛:不是想法变少,而是组织对问题、能力、形态和价值的判断越来越清楚
- 收敛信号:能证明方向值得继续工程化的证据(稳定成功率、清楚边界、用户接受度、价值密度)
- 产品决策:基于实验证据对方向做继续、延后、转向或停止的判断
收敛决策流程
假设池
→ 实验记录整理
→ 证据对比
→ 收敛信号识别
→ 产品决策
→ 进入系统构建 / 延后 / 放弃
第一步:实验记录整理
把所有实验结果结构化:
| 实验ID | 假设 | 实验类型 | 结果 | 成功率 | 关键发现 |
|---|
| E-01 | 自动回复能减少人工 | 商业实验 | 采纳率38% | 低 | 风险过高,用户不接受 |
| E-02 | Copilot 能提升效率 | 产品实验 | 采纳率65% | 中 | 主流程成立 |
| E-03 | 售后政策AI准确率>85% | 能力实验 | 准确率78% | 低 | 资料不足 |
第二步:证据对比
从四个维度对比每个方向:
- 技术可行性:最强模型下能力上限
- 用户接受度:产品实验中的采纳率和满意度
- 价值密度:商业实验中客户付费意愿
- 资料完备度:支撑工程化的资料是否足够
第三步:收敛信号识别
强收敛信号(建议继续)
- ✅ 多轮实验成功率稳定 > 80%
- ✅ 用户采纳率 > 60%
- ✅ 价值密度明确(客户愿意付费)
- ✅ 风险边界清晰,可控
弱收敛信号(建议延后)
- ⚠️ 单轮实验效果好,但无法稳定复现
- ⚠️ 技术可行但价值密度不清晰
- ⚠️ 用户有意愿但资料不完备
无收敛信号(建议停止)
- ❌ 多轮实验无法达到可接受准确率
- ❌ 用户采纳率 < 40%
- ❌ 价值密度过低(成本 > 收益)
- ❌ 风险边界无法划定
第四步:产品决策
对每个方向给出决策:
| 决策 | 条件 | 后续动作 |
|---|
| 继续(进入系统构建) | 四维度全部达标 | 启动工程化 |
| 延后 | 部分维度达标,资料或风险待解决 | 补充条件后重评 |
| 转向 | 原方向不可行,但相关方向有信号 | 调整方向重做实验 |
| 停止 | 核心假设被证伪 | 资源释放,聚焦其他方向 |
输出物:收敛报告与产品决策
- 实验记录总表:所有实验的结构化整理
- 证据对比分析:四维度评分对比
- 收敛信号评估:强/弱/无信号判定
- 产品决策清单:每个方向的继续/延后/转向/停止决策
- 进入系统构建的条件:明确什么条件满足后才可进入
- 未满足条件的补充计划:延后方向的改进路径
与其他 Skill 的关系
- 前置:@p2a-experiment-overview、@p2b-product-form-exploration、@p2c-process-redesign(各子实验结论)
- 后置:@ai-native-system-building(继续方向进入工程化)、@p2e-shadow-validation(继续方向的影子验证)
- 协同:@ai-native-direction-framing(方向调整时更新 Direction Brief)
示例
用户输入
"客服实验已完成 E-01 至 E-08 共8个实验,需要收敛判断"
Skill 执行
实验记录整理:
E-01 自动回复 → 采纳率38%,风险过高 → 停止
E-02 Copilot → 采纳率65%,效率提升35% → 继续
E-03 意图识别 → 准确率88%,边界清晰 → 继续
E-04 知识库检索 → 命中率72%,长尾不足 → 延后
E-05 自主回复 → 风险过高 → 停止
E-06 售后政策 → 准确率78%,需补充资料 → 延后
E-07 情绪检测 → 可行性低 → 停止
E-08 工单分类 → 准确率92%,价值明确 → 继续
收敛信号评估:
| 方向 | 技术 | 用户 | 价值 | 资料 | 综合 |
|------|------|------|------|------|------|
| Copilot | ✅ | ✅ | ✅ | ✅ | 强收敛→继续 |
| 意图识别 | ✅ | ✅ | ⚠️ | ✅ | 弱收敛→试点 |
| 知识库检索 | ✅ | ⚠️ | ⚠️ | ⚠️ | 无收敛→停止 |
产品决策:
继续: Copilot + 工单分类(进入系统构建)
试点: 意图识别(小范围试点,继续验证价值)
停止: 自动回复、情绪检测(资源释放)
延后: 知识库长尾、售后政策(补充资料后重评)
进入系统构建条件:
✅ Copilot 采纳率65%,超过60%阈值
✅ 工单分类准确率92%,超过85%阈值
✅ 价值密度已验证(ROI>200%)
✅ 风险边界清晰(人工确认兜底)
深入核心概念
基于书稿第09章,以下概念在执行本 Skill 时需深入理解:
- 收敛是提高判断密度:收敛不是从很多方向里挑一个方向的管理动作,而是判断动作。团队面对的不是普通需求列表,而是一组能力假设、资料条件、失败模式和价值信号。收敛是让团队最终能说清楚:哪类能力已足够稳定、哪类仍脆弱但值得观察、哪类虽成立但不值得产品化、哪类从一开始就不该投入。
- 实验体系不是零散试错:很多团队做了很多 AI 尝试,但结果无法复现、无法比较,也无法判断成功或失败原因。真正的实验体系必须把实验对象、输入数据、方法版本、评估标准和结论沉淀下来。一个不能支撑收敛的实验体系,本质上等于没有实验体系。
- 收敛前的资料闸门:不是实验结果看起来不错就可以收敛,还需验证三个条件:资料覆盖是否足够(外部知识+内部业务+关键失败案例)、资料处理是否合规(脱敏+权限隔离+受控使用)、资料供给是否可持续(下一轮实验和工程化还能否拿到同类材料)。收敛结论建立在无法持续复现的材料上是常见陷阱。
- 五种收敛信号:能力信号(关键场景稳定成立)、资料信号(可得、可控、可持续供给)、使用信号(用户愿意真实使用)、价值信号(任务结果/效率/质量出现明确改善)、工程信号(能力边界清楚,可被组织成系统构建输入)。只有一两项成立通常不够,值得进入产品化的方向往往是这些信号同时出现。
- 及时停止是保护机制:一个方向应被延后或放弃的特征:能力在关键场景仍不稳定、资料条件不足且短期无改善路径、使用方式模糊无自然入口、成本和延迟无法支撑产品化、看起来能做但价值密度长期偏低。及时停止不成立的方向,是试验展开对团队最重要的保护机制之一。
分步执行指南
基于书稿方法论,本 Skill 的完整执行分为 5 步:
步骤 1:实验记录结构化整理
- 把所有实验结果结构化:实验 ID、假设、实验类型、结果、成功率、关键发现
- 保留版本、参数、失败案例和结论(确保可复现)
- 区分能力实验、产品实验、商业实验三类
- 输出实验记录总表
步骤 2:四维度证据对比
- 从四个维度对比每个方向:技术可行性(最强模型下能力上限)、用户接受度(采纳率和满意度)、价值密度(客户付费意愿)、资料完备度(支撑工程化的资料是否足够)
- 注意:AI 产品的很多误判来自只看单条成功样本,而不看整体失败分布和真实使用条件
- 输出证据对比分析表
步骤 3:收敛信号识别与判定
- 对每个方向判断五种信号:能力信号、资料信号、使用信号、价值信号、工程信号
- 强收敛(建议继续):多轮成功率稳定 > 80%、采纳率 > 60%、价值密度明确、风险边界清晰
- 弱收敛(建议延后):单轮效果好但无法稳定复现、技术可行但价值不清晰、有意愿但资料不完备
- 无收敛(建议停止):多轮无法达到可接受准确率、采纳率 < 40%、价值密度过低、风险边界无法划定
- 输出收敛信号评估报告
步骤 4:产品决策
- 对每个方向给出决策:继续(进入系统构建)、延后(补充条件后重评)、转向(调整方向重做实验)、停止(资源释放聚焦其他方向)
- 继续条件:四维度全部达标;延后条件:部分维度达标但资料或风险待解决;转向条件:原方向不可行但相关方向有信号;停止条件:核心假设被证伪
- 输出产品决策清单
步骤 5:输出收敛报告与后续计划
- 整理收敛报告:实验记录总表、证据对比分析、收敛信号评估、产品决策清单
- 明确进入系统构建的条件(什么条件满足后才可进入)
- 为延后方向制定补充计划(改进路径和重评时间点)
- 确保实验结论可被继承:边界清楚、失败清楚、接口清楚、资料链路清楚
示例一:客服 AI 系统收敛决策
用户输入
"客服实验已完成 E-01 至 E-08 共 8 个实验,需要收敛判断。"
Skill 执行
实验记录整理:
E-01 自动回复(能力实验):
假设: AI 自动回复能减少人工介入
结果: 采纳率 38%,高风险承诺过多
结论: ❌ 停止(核心假设被证伪)
E-02 Copilot 建议(产品实验):
假设: Copilot 能提升客服效率
结果: 采纳率 65%,效率提升 35%
结论: ✅ 继续
E-03 意图识别(能力实验):
假设: AI 能准确识别客户意图
结果: 准确率 88%,边界清晰
结论: ✅ 继续
E-04 知识库检索(能力实验):
假设: AI 能从知识库准确召回答案
结果: 命中率 72%,长尾问题不足
结论: ⚠️ 延后(需补充知识库)
E-05 自主回复(能力实验):
假设: AI 能独立完成完整回复
结果: 风险过高(赔付承诺错误率 15%)
结论: ❌ 停止
E-06 售后政策(能力实验):
假设: AI 能准确解释售后政策
结果: 准确率 78%,政策文档过时
结论: ⚠️ 延后(补充资料后重评)
E-07 情绪检测(能力实验):
假设: AI 能检测客户情绪
结果: 可行性低(准确率 55%)
结论: ❌ 停止
E-08 工单分类(能力实验):
假设: AI 能自动分类工单
结果: 准确率 92%,价值明确
结论: ✅ 继续
四维度证据对比:
| 方向 | 技术可行性 | 用户接受度 | 价值密度 | 资料完备度 |
|------|-----------|-----------|---------|-----------|
| Copilot | ✅ 采纳率65% | ✅ 满意度82分 | ✅ ROI>200% | ✅ FAQ+工单充足 |
| 意图识别 | ✅ 准确率88% | ✅ 有明确需求 | ⚠️ 需量化验证 | ✅ 标注数据充足 |
| 工单分类 | ✅ 准确率92% | ✅ 自动化价值高 | ✅ 减少人工分类 | ✅ 历史工单充足 |
| 知识库检索 | ✅ 基础能力成立 | ⚠️ 长尾体验差 | ⚠️ 需评估覆盖度 | ⚠️ 长尾FAQ缺失 |
| 售后政策 | ⚠️ 准确率78% | ⚠️ 未充分测试 | ⚠️ 需量化 | ❌ 文档过时 |
收敛信号评估:
Copilot:
能力信号: ✅ 采纳率65%超过60%阈值
资料信号: ✅ FAQ和工单样本充足
使用信号: ✅ 客服主动使用
价值信号: ✅ 效率提升35%,ROI>200%
工程信号: ✅ 边界清晰(人工确认兜底)
判定: 强收敛 → 继续
意图识别:
能力信号: ✅ 准确率88%
资料信号: ✅ 标注数据充足
使用信号: ⚠️ 仅内部测试
价值信号: ⚠️ 需量化验证实际效果
工程信号: ✅ 边界清晰
判定: 弱收敛 → 试点验证价值
工单分类:
能力信号: ✅ 准确率92%
资料信号: ✅ 历史工单充足
使用信号: ✅ 可直接嵌入工单系统
价值信号: ✅ 减少人工分类工作量
工程信号: ✅ 标准化接口
判定: 强收敛 → 继续
知识库检索:
能力信号: ⚠️ 长尾命中率不足
资料信号: ⚠️ 长尾FAQ缺失
使用信号: ⚠️ 未充分测试
价值信号: ⚠️ 需评估覆盖度提升空间
工程信号: ⚠️ 边界不完全清晰
判定: 无收敛 → 停止(补充资料后可重开)
产品决策:
继续(进入系统构建):
- Copilot + 工单分类(强收敛,四维度全部达标)
试点(小范围继续验证):
- 意图识别(弱收敛,需量化价值信号后决定)
延后(补充条件后重评):
- 售后政策(需更新政策文档+提升准确率至85%+)
- 知识库检索(需补充长尾FAQ200+条)
停止(资源释放):
- 自动回复(E-01 核心假设证伪)
- 自主回复(E-05 风险不可控)
- 情绪检测(E-07 技术不可行)
进入系统构建条件:
✅ Copilot 采纳率 65% > 60% 阈值
✅ 工单分类准确率 92% > 85% 阈值
✅ 价值密度已验证(ROI > 200%)
✅ 风险边界清晰(人工确认兜底)
✅ 资料可持续供给
实验结论可继承性:
边界清楚: Copilot 在订单/物流场景稳定,售后需人工
失败清楚: 自动回复风险过高,情绪检测不可行
接口清楚: 需要工单系统API、FAQ知识库、规则引擎
资料链路清楚: FAQ持续更新、工单样本季度刷新、规则库专人维护
示例二:AI 文档审核系统收敛决策(对比案例)
用户输入
"文档审核实验已完成 D-01 至 D-06 共 6 个实验,需要收敛判断。场景是合同和法律文档的合规审核。"
Skill 执行
实验记录整理:
D-01 合同条款提取(能力实验):
假设: AI 能从合同中提取关键条款
结果: 准确率 91%,结构化输出稳定
结论: ✅ 继续
D-02 合规风险标记(能力实验):
假设: AI 能标记合同中的合规风险
结果: 风险标记准确率 79%,漏过率 12%
结论: ⚠️ 延后(漏过率过高,法律场景不可接受)
D-03 合同对比(能力实验):
假设: AI 能对比两版合同差异
结果: 差异识别率 87%,但遗漏隐含变更
结论: ⚠️ 延后
D-04 审核工作台(产品实验):
假设: 法务人员愿意使用 AI 辅助审核工作台
结果: 采纳率 52%,满意度 71 分
结论: ⚠️ 延后(采纳率不足)
D-05 批量初筛(产品实验):
假设: AI 能对大量合同做初筛分级
结果: 分级准确率 84%,效率提升 60%
结论: ✅ 继续
D-06 定价验证(商业实验):
假设: 客户愿意为 AI 审核付费
结果: 3/5 客户愿意试点,但要求准确率 > 90%
结论: ⚠️ 延后(准确率未达客户要求)
四维度证据对比:
| 方向 | 技术可行性 | 用户接受度 | 价值密度 | 资料完备度 |
|------|-----------|-----------|---------|-----------|
| 条款提取 | ✅ 91% | ✅ 嵌入工作流 | ✅ 节省大量手工 | ✅ 合同样本充足 |
| 批量初筛 | ✅ 84% | ✅ 效率+60% | ✅ 客户愿意付费 | ✅ 历史合同充足 |
| 风险标记 | ⚠️ 79% | ⚠️ 漏过不可接受 | ⚠️ 需>90% | ⚠️ 风险案例不足 |
| 合同对比 | ⚠️ 87% | ⚠️ 未充分测试 | ⚠️ 需量化 | ⚠️ 隐含变更样本少 |
| 审核工作台 | ⚠️ 依赖上游 | ⚠️ 52%偏低 | ⚠️ 依赖准确率 | ✅ 流程文档充足 |
收敛信号评估:
条款提取:
能力信号: ✅ 准确率91%
资料信号: ✅ 合同样本充足
使用信号: ✅ 可嵌入现有流程
价值信号: ✅ 大量手工提取可自动化
工程信号: ✅ 结构化输出稳定
判定: 强收敛 → 继续
批量初筛:
能力信号: ✅ 分级准确率84%
资料信号: ✅ 历史合同充足
使用信号: ✅ 法务团队认可
价值信号: ✅ 效率提升60%
工程信号: ✅ 批量处理架构成熟
判定: 强收敛 → 继续
风险标记:
能力信号: ❌ 漏过率12%(法律场景不可接受)
资料信号: ⚠️ 风险案例样本不足
使用信号: ⚠️ 法务不信任
价值信号: ⚠️ 客户要求>90%
工程信号: ⚠️ 边界不清
判定: 无收敛 → 停止(当前技术条件不满足)
产品决策:
继续(进入系统构建):
- 合同条款提取(强收敛)
- 批量初筛分级(强收敛)
延后(补充条件后重评):
- 合同对比(需补充隐含变更样本,提升至92%+)
停止(资源释放):
- 合规风险标记(漏过率12%,法律场景不可接受,核心假设暂不成立)
- 审核工作台(依赖上游能力,当前准确率不足以支撑采纳率)
进入系统构建条件:
✅ 条款提取准确率 91% > 90% 客户要求
✅ 批量初筛准确率 84%,效率提升 60%
✅ 价值密度已验证(3/5 客户愿意试点)
✅ 资料可持续供给
⚠️ 需要明确:系统构建阶段仅覆盖条款提取和批量初筛,风险标记留待技术突破后重开
实验结论可继承性:
边界清楚: 条款提取在标准合同模板上稳定,非标合同需人工复核
失败清楚: 风险标记漏过率不可接受,合同对比遗漏隐含变更
接口清楚: 需要合同文档解析API、条款知识库、分类模型
资料链路清楚: 合同样本持续收集、条款库按行业更新、风险案例库专人维护