28-ai-product-management

name	28-ai-product-management
description	AI/ML 产品管理方法论。当用户说"AI产品"、"机器学习产品"、"大模型产品"、"AI PM"时使用。

AI Product Management

⚡ 高频维护技能 — AI 领域变化极快，本技能内容需要季度更新。

何时使用

• 需要管理 AI/ML 相关的产品
• 需要评估 AI 功能的可行性和风险
• 需要设计人机协作的产品体验
• 需要处理 AI 产品特有的挑战（概率性输出、数据依赖等）

工作流程

Step 1: 评估 AI 可行性

AI 不是万能药，先判断是否需要 AI：

• 问题是否有足够的数据？
• 容错空间有多大？（医疗 vs 推荐系统）
• 用户能否接受概率性输出？
• 有没有更简单的基于规则的方案？

Step 2: 设计人机协作

AI 产品的核心是人机协作设计：

• Human-in-the-loop：人何时介入？
• 可解释性：用户能否理解 AI 的决策？
• 信任校准：不过度信任也不低估 AI
• 降级方案：AI 失败时的 fallback

Step 3: 管理 AI 特有风险

处理 AI 产品的独特挑战：

• 数据偏差与公平性
• 模型性能漂移（drift）
• 隐私与合规（数据使用授权）
• 对抗攻击和安全性

Step 4: 迭代与监控

建立持续监控体系：

• 线上效果指标 vs 离线评估指标
• 用户反馈闭环（thumbs up/down → 标注数据）
• 模型版本管理和 A/B 测试

关键原则

#	原则	说明	反模式
1	先问"为什么需要 AI"	不是所有问题都需要 AI，规则引擎能解决就别上模型	为了 AI 而 AI
2	AI 能力边界前置评估	评估 AI 在该场景的能力上限（准确率、延迟、成本）	承诺 AI 做不到的事
3	设计人类兜底方案	当 AI 出错时，要有优雅的降级方案和人工接管路径	全自动无回退
4	把不确定性告诉用户	通过置信度、"AI 生成"标签等让用户知道这是概率输出	伪装确定性
5	数据就是产品	数据收集、标注、清洗是 AI 产品最重要的投资	只关注模型不关注数据
6	持续评估，永不"完成"	AI 模型会随数据分布变化而退化(drift)，需要持续监控	上线=完工
7	伦理风险前置	评估偏差、幻觉、隐私风险，建立 AI 伦理审查流程	先上线再说

落地模板

# AI 功能评估与风险矩阵

## 1. 需求评估
### 1.1 为什么需要 AI？
- 问题描述：___
- 替代方案（规则引擎/人工）：___
- AI 方案的独特价值：___

### 1.2 AI 能力边界评估
| 维度 | 要求 | 当前技术可达 | 差距 |
|------|------|-------------|------|
| 准确率 | | | |
| 延迟 | | | |
| 成本/次调用 | | | |
| 数据需求量 | | | |

## 2. 数据评估
### 2.1 数据清单
| 数据类型 | 来源 | 规模 | 质量 | 偏差风险 |
|----------|------|------|------|----------|
| | | | | |

### 2.2 数据标注计划
- 标注方式：人工 / 半自动 / 自动
- 预算：___
- 时间：___

## 3. 风险矩阵
| 风险类型 | 具体风险 | 概率 | 影响 | 缓解措施 |
|----------|----------|------|------|----------|
| 幻觉/错误输出 | | | | |
| 数据偏差/歧视 | | | | |
| 隐私泄露 | | | | |
| 模型退化(Drift) | | | | |
| 对抗攻击 | | | | |

## 4. 人机协作设计
### 4.1 自动化程度选择
- [ ] Human-in-the-loop（人类审核 AI 输出）
- [ ] Human-on-the-loop（人类监控，异常介入）
- [ ] Human-out-of-the-loop（全自动，仅事后审计）

### 4.2 降级方案
| 场景 | AI 失效表现 | 降级策略 | 用户体验 |
|------|-----------|----------|---------|
| | | | |

## 5. 用户透明度设计
- AI 生成内容标识方案：___
- 置信度展示方式：___
- 用户反馈/纠错入口：___
- "为什么推荐这个"可解释性方案：___

## 6. 上线与监控计划
### 6.1 灰度策略
- 灰度范围：___% 用户
- 核心监控指标：___
- 人工巡检频率：___

### 6.2 模型迭代计划
| 阶段 | 时间 | 目标 | 数据来源 |
|------|------|------|---------|
| V1 | | | |
| V2 | | | |

参考资料

详细理论基础、原则解析和推荐书目见 references/knowledge.md。