| name | data-contract-quality-governance |
| description | 为共享数据集、事件流、指标、主数据或数据产品设计可审查的数据治理方案,覆盖数据契约、质量维度与 SLO、字段到消费端血缘、语义和主数据、隐私与用途限制、保留删除、质量事故、模式演进和退役。用于新数据产品上线、生产者与消费者契约、指标口径冲突、数据质量评审、血缘与影响分析、隐私生命周期审查;不用于直接抓取数据、连接生产库、修改管线或处理真实个人数据。 |
数据契约与质量治理
目标
让每个重要数据产品都有明确语义、责任人、质量状态、来源、用途边界和生命周期。只产出契约、控制设计、评审结论和验证计划;不采集私密数据,不连接生产系统,不执行管线或模式变更。
工作边界
- 从数据支持的决定和消费风险出发,不以“多收集”作为默认价值。
- 区分源事实、转换结果、估算、推断和人工修订。
- 将契约视为生产者与消费者的共同承诺,而不是单方字段清单。
- 只使用脱敏样本、模式、聚合质量结果和只读证据。
- 不宣称数据“准确”“完整”或“合规”,除非范围、规则、时间和证据明确。
收集输入
先请求最小必要信息;缺失项标为待确认:
- 数据支持的决定、产品名称、所有者、生产者、消费者和责任升级链。
- 实体或事件、粒度、主键、字段、时间语义、单位、枚举和缺失语义。
- 来源、采集依据、授权、转换、存储、服务和消费方式。
- 当前质量基线、事故、对账、告警、回填和消费者反馈。
- 数据分类、允许用途、访问主体、地域、共享、保留和删除要求。
- 模式变更、指标冲突、迁移、历史重算或退役计划。
不要索取真实凭据、整表导出、明文个人资料、客户内容或与治理结论无关的原始记录。
执行流程
1. 定义数据产品与责任
- 明确数据产品边界、支持的决定、非目标和错误使用方式。
- 指定业务所有者、技术所有者、生产者、消费者和事故责任人。
- 列出权威源、派生副本、缓存、投影和不可变证据;禁止“多个系统都是真相”却没有冲突规则。
- 将未知所有权视为治理缺口,不默认归给 CDO 或平台团队。
2. 建立数据契约
为稳定消费边界定义:
- 实体/事件、粒度、主键、唯一性范围和排序保证。
- 字段名称、类型、业务含义、单位、时区、允许值、缺失和默认语义。
- 事件时间、观察时间、处理时间和生效时间,避免时间含义混用。
- 模式版本、兼容等级、弃用窗口、消费者通知和迁移责任。
- 交付频率、延迟、重放、去重、幂等、回填和更正语义。
- 来源、用途、分类、访问、保留、删除和审计要求。
不要把示例值当成规则,也不要用 null=0、本地时间或静默截断掩盖未知语义。
3. 设计质量模型
按消费风险选择适用维度,不强制所有数据使用同一分数:
- 完整性:应有记录或字段是否存在。
- 有效性:值是否符合类型、范围、枚举和业务规则。
- 唯一性:业务键或事件是否重复。
- 一致性:跨字段、跨表、跨系统和跨时间是否满足不变量。
- 准确性:与可信外部事实或人工标注是否一致。
- 及时性/新鲜度:数据何时可用、允许多旧。
- 覆盖与代表性:样本覆盖哪些人群、时间、渠道和状态。
- 完整传递:源记录是否在转换和服务链路中无静默丢失。
为每条规则写明对象、算法、阈值、窗口、严重度、业务影响、数据源、所有者、处置和最近验证证据。阈值必须来自消费需求、基线和风险,不套用固定 99%。
4. 设定数据 SLO 与处置
- 把新鲜度、完整性、有效性、可用性和恢复目标绑定到具体消费者。
- 区分阻断消费、带警告降级、隔离坏分区和继续服务的条件。
- 明确低样本、延迟到达、上游停摆、模式漂移和历史回填期间的计算方法。
- 定义违反 SLO 后的通知、隔离、更正、回填、复核和恢复证据。
- 防止用删除失败记录、放宽阈值或改分母让质量报表变绿。
5. 建立端到端血缘
- 从来源、字段和事件追踪到转换、模型、指标、报表、模型特征和关键决定。
- 为每个节点记录版本、负责人、变换逻辑、输入输出、更新时间和验证状态。
- 标识人工修订、估算、模型推断、外部许可和跨地域/跨主体传输。
- 对计划变更执行影响分析:受影响消费者、兼容性、重算范围、通知和回退。
- 不把目录登记等同于真实血缘;用可复核的查询、配置、代码或运行证据校准。
6. 治理语义与主数据
- 为核心实体定义稳定标识、匹配/合并规则、来源优先级和冲突状态。
- 为关键指标记录名称、公式、粒度、时区、过滤、归因、版本和适用决定。
- 同名不同义时显式改名;同义不同名时建立映射,不靠会议口头统一。
- 保留来源值与规范化值,避免无法追溯的覆盖。
- 对无法自动解决的实体冲突进入可见队列并指定裁决人。
7. 评审隐私与生命周期
- 为每类数据记录目的、合法来源、数据主体、敏感度和允许消费者。
- 执行最小化:只保留支持明确用途所需的字段、精度和时间范围。
- 区分生产访问、分析访问、支持访问、导出和第三方处理,采用最小必要权限。
- 明确保留触发点、期限、暂停删除条件、删除范围、备份处理和可验证删除证据。
- 用途变化、重新识别、跨主体共享、敏感推断或无法撤回的披露必须升级审查。
- 不把哈希自动视为匿名化,也不把免责声明当作隐私控制。
8. 准备质量事故
- 按消费者影响、错误决定风险、敏感数据暴露和恢复难度分级。
- 定义发现、止损、隔离、消费者通知、更正、回填和恢复责任。
- 保存原始证据和修订轨迹;不得覆盖历史让事故看似未发生。
- 记录时间线、根因、促成因素、控制缺口、受影响资产和已通知消费者。
- 只有完成恢复验证和防复发控制后,才关闭事故。
9. 管理变更与退役
- 按兼容、可逆、消费者数量、历史重算、隐私和数据损失风险分级变更。
- 优先扩展后收缩:增加兼容字段/版本,迁移消费者,验证稳定,再删除旧路径。
- 为退役确认所有者、消费者清单、替代品、通知窗口、导出、保留/删除、回滚和审计记录。
- 无人消费不自动授权删除;先验证隐藏消费者、法律保留和下游快照。
- 无所有者、无消费者、无质量证据或无法证明价值的数据资产应进入退役评审。
10. 设置验证门
- 契约:生产者和消费者用同一组正向、边界和失败样本验证。
- 质量:规则能在已知坏样本上失败,并在已知好样本上通过。
- 血缘:抽样字段能从源追到消费端,计划变更能列出真实受影响对象。
- 语义:关键指标用固定夹具重算并与批准定义一致。
- 隐私:访问、导出、保留、删除和备份路径均有可复核证据。
- 事故/退役:演练或桌面推演证明通知、恢复、更正和停止条件可执行。
不得把目录存在、模式可解析、一次查询成功或管线运行成功当成完整治理验证。
交付模板
按以下结构产出“数据治理包”:
# 数据治理评审|<数据产品>
## 结论
- 建议:通过 / 有条件通过 / 暂停
- 支持的决定:
- 业务所有者 / 技术所有者:
- 关键未知:
## 数据契约
| 实体/事件 | 粒度/主键 | 时间语义 | 字段/单位 | 缺失语义 | 版本/兼容 | 所有者 |
## 质量与 SLO
| 规则 | 维度 | 算法/窗口 | 阈值依据 | 消费影响 | 处置 | 证据 |
## 血缘与影响
| 源/字段 | 变换 | 指标/产品 | 消费者/决定 | 版本 | 负责人 |
## 语义与主数据
- 核心实体和标识:
- 指标定义与适用场景:
- 合并、冲突和裁决规则:
## 隐私与生命周期
| 数据类 | 目的 | 来源/许可 | 访问 | 共享 | 保留 | 删除证据 |
## 事故与恢复
- 严重度和升级链:
- 隔离、更正、回填、通知:
- 恢复与防复发验证:
## 变更或退役
| 资产 | 消费者 | 兼容/替代 | 通知 | 保留/删除 | 回退 | 批准人 |
## 决策记录
- 已验证事实:
- 假设与信心:
- 待办、负责人、期限:
- 不在本次证明范围:
停止与升级
遇到以下情况,停止在建议层并升级:
- 请求连接生产库、运行采集、导出真实记录、修改模式/管线、回填或删除数据。
- 需要凭据、绕过访问控制、扩大用途、重新识别或共享敏感数据。
- 没有权威源、所有者、消费者或时间语义,却要求确认指标正确。
- 模式变更可能静默破坏消费者,或删除/回填没有可验证恢复路径。
- 法律依据、许可证、地域、保留义务或数据主体权利不清;转交 CLO、Governor 或具名人类负责人。
角色边界
- CDO:拥有数据语义、契约、质量、血缘和治理方向。
- CTO:评审整体系统边界、平台可靠性和技术投资。
- PE:实现并验证已批准的管线、模式、控制和迁移。
- 业务/产品负责人:确认数据支持的决定、指标含义和错误影响。
- CQO/CRO:使用可信数据开展研究,但不改写数据权威。
- CLO/Governor:独立审查隐私、许可、合规、证据与例外。
- 本 Skill:形成治理材料和验证门,不批准访问或执行数据动作。
触发校准
正向触发:
- “为订单事件建立生产者—消费者数据契约和质量 SLO。”
- “审查指标口径冲突、字段血缘和下游影响。”
- “设计客户主数据的合并、隐私、保留和退役治理。”
负向触发:
- “登录生产库把坏数据修掉。”属于生产执行。
- “帮我抓取某平台所有用户资料。”属于数据采集与隐私高风险。
- “分析这个 CSV 的趋势。”应使用数据分析 Skill,而非治理 Skill。