huifer
huifer/Shopilot
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/huifer/Shopilot --skill data-warehouse-setup命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
基于 SOC 职业分类
正在显示 SKILL.md
| name | data-warehouse-setup |
| description | 数据仓库设置 - 数据架构设计、ETL流程设计、数据建模、BI工具集成、数据治理、数据安全 |
| version | 1.0.0 |
| author | Shopilot |
| argument-hint | <platform> [data-sources] |
| disable-model-invocation | false |
| user-invocable | true |
构建强大的数据基础设施，释放数据价值
数据仓库设置帮助电商商家建立完善的数据基础设施，从数据采集到分析应用，实现数据驱动的智能决策。
架构层级:
数据源层:
- 业务数据库: [订单、客户、产品]
- 第三方API: [支付、物流、营销]
- 日志数据: [用户行为、系统日志]
- 外部数据: [市场、竞品、行业]
数据集成层:
- 数据采集: [实时/批量]
- 数据清洗: [ETL/ELT]
- 数据转换: [标准化/规范化]
- 数据加载: [增量/全量]
数据存储层:
- ODS层: [原始数据存储]
- DWD层: [明细数据层]
- DWS层: [汇总数据层]
- ADS层: [应用数据层]
数据服务层:
- API服务: [数据接口]
- BI工具: [可视化分析]
- 数据应用: [业务应用]
- 数据导出: [报表输出]
ETL设计:
Extract (抽取):
抽取方式:
- 全量抽取: [小表/低频]
- 增量抽取: [大表/高频]
- CDC抽取: [实时数据]
- API调用: [第三方数据]
抽取策略:
- 定时任务: [每日/每周]
- 实时同步: [变更数据]
- 按需触发: [手动/事件]
- 流式处理: [Kafka/RabbitMQ]
Transform (转换):
清洗规则:
- 空值处理: [填充/删除]
- 重复处理: [去重策略]
- 格式统一: [日期/数字]
- 异常处理: [规则/阈值]
转换逻辑:
- 数据映射: [字段转换]
- 业务计算: [指标计算]
- 数据关联: [多表关联]
- 数据聚合: [汇总统计]
数据质量:
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
建模方法:
维度建模:
事实表:
- 交易事实: [订单事实表]
- 快照事实: [库存快照]
- 累计快照: [用户生命周期]
- 事实清单: [明细记录]
维度表:
- 时间维度: [年/季/月/周/日]
- 地理维度: [国家/省/市]
- 产品维度: [分类/属性]
- 客户维度: [人口/行为]
- 渠道维度: [来源/媒介]
星型模型:
- 中心: [事实表]
- 周围: [维度表]
- 优势: [查询简单]
- 场景: [高性能查询]
雪花模型:
- 结构: [层次维度]
- 优势: [数据规范]
- 场景: [复杂维度]
数据模型:
业务模型:
- 订单域: []
[]
[]
[]
[]
[]
[]
[]
[]
BI集成:
工具选型:
开源工具:
- Metabase: [轻量级/易用]
- Superset: [功能丰富]
- Redash: [查询友好]
商业工具:
- Tableau: [可视化强]
- Power BI: [微软生态]
- Looker: [云原生]
- QuickSight: [AWS集成]
集成方式:
数据连接:
- JDBC连接: [标准连接]
- ODBC连接: [通用连接]
- Native连接: [专用连接]
- API连接: [RESTful]
数据同步:
- 实时同步: [直连查询]
- 定时同步: [数据抽取]
- 缓存加速: [查询缓存]
- 预计算: [物化视图]
仪表板设计:
核心仪表板:
- 销售概览: [销售指标]
- []
[]
[]
[]
[]
[]
[]
[]
[]
治理体系:
数据标准:
命名规范:
- 表命名: [前缀_主题_后缀]
- 字段命名: [描述性_格式]
- 指标命名: [业务含义]
- 维度命名: [清晰易懂]
数据类型:
- 数值类型: [整型/浮点]
- 字符类型: [定长/变长]
- 日期类型: [标准格式]
- 布尔类型: [0/1或true/false]
业务规则:
- 主键规则: [唯一标识]
- 外键规则: [引用完整]
- 索引规则: [查询优化]
- 分区规则: [数据管理]
元数据管理:
技术元数据:
- 表结构: [字段信息]
- 数据类型: [类型定义]
- 关系定义: [表间关系]
- 存储位置: [物理路径]
业务元数据:
- []
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
安全体系:
访问控制:
身份认证:
- 用户认证: [账号密码]
- 多因素认证: [MFA]
- 单点登录: [SSO]
- 第三方集成: [LDAP/OAuth]
权限管理:
- 基于角色: [RBAC]
- 基于数据: [行级权限]
- 基于字段: [列级权限]
- 最小权限: [权限最小化]
审计日志:
- 访问日志: [查询记录]
- 操作日志: [变更记录]
- 登录日志: [认证记录]
- 审计报告: [定期审计]
数据保护:
数据加密:
- 传输加密: [SSL/TLS]
- 存储加密: [透明加密]
- 字段加密: [敏感字段]
- 密钥管理: [密钥轮换]
数据脱敏:
- 静态脱敏: []
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
需求分析:
├─ 业务需求调研
├─ 数据源盘点
├─ 分析场景定义
└─ 技术选型
架构设计:
├─ 数据架构设计
├─ 技术架构设计
├─ 数据模型设计
└─ 接口设计
方案制定:
├─ 实施方案
├─ 进度计划
├─ 资源评估
└─ 风险评估
基础设施:
├─ 服务器部署
├─ 数据库安装
├─ ETL工具部署
└─ BI工具配置
网络配置:
├─ 网络规划
├─ 防火墙配置
├─ VPN配置
└─ 域名配置
安全配置:
├─ 访问控制配置
├─ 数据加密配置
├─ 审计日志配置
└─ 备份策略配置
数据接入:
├─ 数据源连接
├─ 数据采集开发
├─ ETL流程开发
└─ 数据质量校验
数据建模:
├─ ODS层开发
├─ DWD层开发
├─ DWS层开发
└─ ADS层开发
测试验证:
├─ 单元测试
├─ 集成测试
├─ 性能测试
└─ 数据验证
报表开发:
├─ 基础报表
├─ 分析报表
├─ 管理驾驶舱
└─ 移动端报表
仪表板开发:
├─ 业务仪表板
├─ 运营仪表板
├─ 财务仪表板
└─ 自助分析
用户培训:
├─ 系统培训
├─ 使用培训
├─ 维护培训
└─ 文档编写
上线准备:
├─ 数据迁移
├─ 系统联调
├─ 用户验收
└─ 上线切换
运维监控:
├─ 系统监控
├─ 数据监控
├─ 性能监控
└─ 告警处理
持续优化:
├─ 性能优化
├─ 功能增强
├─ 数据扩展
└─ 用户体验优化
关系型数据库:
MySQL:
用途: [OLTP/小型OLAP]
优势: [成熟稳定/社区活跃]
场景: [中小型数据仓库]
PostgreSQL:
用途: [OLTP/中型OLAP]
优势: [功能丰富/扩展性强]
场景: [复杂数据处理]
分析型数据库:
ClickHouse:
用途: [OLAP/实时分析]
优势: [查询极快/列式存储]
场景: [大数据实时分析]
Apache Doris:
用途: [OLAP/交互分析]
优势: [易用性好/性能优秀]
场景: [企业级数据仓库]
StarRocks:
用途: [OLAP/实时分析]
优势: [极速分析/兼容MySQL]
场景: [高性能数据仓库]
开源工具:
Apache Airflow:
用途: [工作流调度]
优势: [功能强大/生态丰富]
场景: [复杂数据管道]
Apache Flink:
用途: [实时数据处理]
优势: [低延迟/高吞吐]
场景: [实时数据仓库]
DataX:
用途: [离线数据同步]
优势: [稳定可靠/易用]
场景: [批量数据同步]
商业工具:
Informatica:
用途: [企业ETL]
优势: [功能完整/稳定可靠]
场景: [大型企业]
Talend:
用途: [数据集成]
优势: [开源友好/易用]
场景: [中小企业]
需求: 建立企业级数据仓库
步骤:
1. 需求分析和规划
2. 技术选型和架构设计
3. 数据建模和ETL设计
4. 环境搭建和开发
5. BI应用和上线
6. 运维优化和迭代
需求: 迁移到新的数据平台
步骤:
1. 现状评估和方案设计
2. 新平台搭建和测试
3. 数据迁移和验证
4. 应用迁移和调试
5. 切换上线和监控
6. 旧平台下线和清理
需求: 提升数据质量和可信度
步骤:
1. 数据质量评估
2. 质量问题识别
3. 清洗规则制定
4. ETL流程优化
5. 质量监控建立
6. 持续改进机制
需求: 构建实时数据分析能力
步骤:
1. 实时需求分析
2. 实时架构设计
3. CDC方案实施
4. 实时计算开发
5. 实时仪表板构建
6. 性能优化和监控
/basic-analytics - 基础数据分析/predictive-analytics - 预测分析/attribution-analyzer - 归因分析/performance-benchmark - 性能基准/anomaly-detector - 异常检测Build the foundation for data-driven decisions! 🏗️
版本: 1.0.0 更新: 2026-04-12 作者: Shopilot Team