data-analysis

name	data-analysis
description	Perform data cleaning, statistical analysis, visualization, and extract data insights. Invoke when users need to process datasets, run statistical analyses, create charts and visualizations, or generate professional data conclusions.

Data Analysis Skill

数据清洗、统计分析、可视化和数据洞察提取技能。用于处理各类数据，完成统计分析，输出专业数据结论和可视化建议。

使用场景

当用户需要以下服务时，必须使用此技能：

数据处理类

• "帮我清洗这个数据集"
• "整理一下这些杂乱的数据"
• "处理缺失值和异常值"
• "格式化这个数据文件"

统计分析类

• "分析一下这个数据的统计特征"
• "计算相关性/回归分析"
• "做假设检验"
• "进行 A/B 测试分析"

数据可视化类

• "帮我画个图表展示这个数据"
• "可视化这个趋势"
• "制作数据仪表盘"
• "生成数据报告图表"

数据洞察类

• "从数据中发现什么规律"
• "分析销售数据的关键洞察"
• "找出数据中的模式和趋势"
• "解读这些数据说明了什么"

核心能力

1. 数据清洗

• 处理缺失值（删除/填充/插值）
• 识别和处理异常值
• 数据格式标准化
• 去重和数据验证
• 数据类型转换

2. 统计分析

• 描述性统计（均值、中位数、标准差等）
• 推断统计（置信区间、假设检验）
• 相关分析（皮尔逊、斯皮尔曼相关）
• 回归分析（线性、逻辑回归）
• 方差分析（ANOVA）
• 时间序列分析

3. 数据可视化

• 基础图表（柱状图、折线图、饼图）
• 分布图表（直方图、箱线图、密度图）
• 关系图表（散点图、热力图、气泡图）
• 高级图表（小提琴图、雷达图、树状图）
• 交互式图表和仪表盘

4. 数据洞察

• 识别趋势和模式
• 发现异常和离群点
• 提取关键业务指标
• 生成数据驱动的建议
• 解释统计显著性

工作流程

第一步：数据理解

1. 了解数据来源和背景
2. 检查数据结构和格式
3. 识别数据类型和变量
4. 明确分析目标和需求

第二步：数据评估

1. 检查数据完整性
2. 识别缺失值模式
3. 检测异常值
4. 评估数据质量

第三步：数据清洗

1. 处理缺失值
2. 处理异常值
3. 格式标准化
4. 数据验证
5. 创建清洗日志

第四步：探索性分析

1. 计算描述性统计
2. 绘制分布图表
3. 分析变量关系
4. 识别初步模式

第五步：深入分析

1. 执行统计检验
2. 建立分析模型
3. 验证假设
4. 量化关系强度

第六步：可视化呈现

1. 选择合适的图表类型
2. 设计清晰的视觉呈现
3. 添加必要的标注和说明
4. 确保可读性和准确性

第七步：洞察总结

1. 提炼关键发现
2. 解释统计结果
3. 提供业务建议
4. 指出局限性

输出格式

数据分析报告

# [数据分析报告]

## 执行摘要
[核心发现和建议的简要概述]

## 数据概况
- 数据来源：[来源说明]
- 样本量：[N = xxx]
- 时间范围：[开始时间 - 结束时间]
- 变量数量：[x 个变量]

## 数据质量评估
### 缺失值情况
[缺失值统计和处理方法]

### 异常值处理
[异常值检测和处理说明]

## 描述性统计
### 数值变量
| 变量 | 均值 | 中位数 | 标准差 | 最小值 | 最大值 |
|------|------|--------|--------|--------|--------|
| xxx | xxx | xxx | xxx | xxx | xxx |

### 分类变量
[频数分布表]

## 关键发现

### 发现 1：[标题]
- 统计结果：[具体数据]
- 统计显著性：[p 值/置信区间]
- 实际意义：[业务解读]

### 发现 2：[标题]
[同上结构]

## 可视化分析
[图表 + 解读]

## 相关/回归分析
[关系分析结果]

## 结论与建议
### 主要结论
1. [结论 1]
2. [结论 2]

### 行动建议
1. [建议 1]
2. [建议 2]

## 分析局限性
[说明分析的局限性和注意事项]

## 附录
### 分析方法
[使用的统计方法说明]

### 数据字典
[变量说明]

数据清洗报告

# 数据清洗报告

## 原始数据概况
- 原始记录数：xxx
- 原始变量数：xxx

## 清洗步骤

### 1. 缺失值处理
- 缺失模式：[随机/系统性]
- 处理方法：[删除/填充/插值]
- 影响记录数：xxx

### 2. 异常值处理
- 检测方法：[IQR/Z-score/其他]
- 异常值数量：xxx
- 处理方式：[删除/修正/保留]

### 3. 格式标准化
[标准化操作说明]

### 4. 去重处理
- 重复记录数：xxx
- 处理方式：[保留首次/末次]

## 清洗后数据
- 最终记录数：xxx
- 最终变量数：xxx
- 数据质量评分：[高/中/低]

## 清洗脚本
[可复用的清洗代码]

统计方法选择指南

比较分析

• 两组比较：t 检验（正态）/Mann-Whitney U 检验（非正态）
• 多组比较：ANOVA（正态）/Kruskal-Wallis 检验（非正态）
• 配对比较：配对 t 检验/Wilcoxon 符号秩检验

关系分析

• 线性相关：皮尔逊相关系数
• 单调相关：斯皮尔曼秩相关
• 预测关系：回归分析
• 分类预测：逻辑回归/卡方检验

差异检验

• 比例差异：卡方检验
• 均值差异：t 检验/ANOVA
• 分布差异：K-S 检验

可视化选择指南

展示分布

• 单变量：直方图、箱线图、小提琴图
• 多变量：分面图、叠加密度图

展示趋势

• 时间序列：折线图、面积图
• 对比趋势：多系列折线图

展示关系

• 两变量：散点图、气泡图
• 多变量：热力图、相关矩阵图

展示构成

• 少类别：饼图（≤5 类）
• 多类别：堆叠柱状图、树状图

质量标准

数据清洗质量

• 清洗过程可追溯
• 清洗决策有记录
• 保留原始数据备份
• 清洗脚本可复用

统计分析质量

• 方法选择恰当
• 假设条件满足
• 结果解释准确
• 显著性水平明确

可视化质量

• 图表类型合适
• 标签清晰完整
• 比例尺度准确
• 配色易于区分

洞察报告质量

• 发现基于数据
• 解读考虑背景
• 建议切实可行
• 局限性透明

注意事项

必须遵守

1. 始终保留原始数据
2. 记录所有数据处理步骤
3. 验证统计方法假设
4. 区分相关性和因果性
5. 报告效应量而不仅是 p 值

避免行为

1. 不删除数据而不说明理由
2. 不使用不恰当的统计方法
3. 不误导性的可视化（截断坐标轴等）
4. 不过度解读统计结果
5. 不忽略混杂变量

特殊情况处理

• 小样本：使用非参数方法，说明局限性
• 非正态分布：转换或使用非参数检验
• 多重比较：进行校正（如 Bonferroni）
• 缺失值过多：说明对结果的影响

示例

示例 1：销售数据分析

用户输入：帮我分析一下这个季度的销售数据，看看有什么趋势和洞察

分析流程：

1. 数据清洗：处理缺失和异常
2. 描述统计：计算关键指标
3. 趋势分析：时间序列分析
4. 细分分析：按产品/地区/渠道
5. 可视化：制作仪表板
6. 洞察总结：提炼关键发现

示例 2：A/B 测试分析

用户输入：我们做了一个 A/B 测试，帮我分析哪个版本更好

分析流程：

1. 数据验证：检查随机化
2. 描述统计：各组指标对比
3. 假设检验：t 检验/卡方检验
4. 效应量计算：Cohen's d/相对提升
5. 置信区间：量化不确定性
6. 结论建议：统计 + 实际显著性

示例 3：客户数据分析

用户输入：分析客户数据，找出高价值客户特征

分析流程：

1. 数据探索：客户分群
2. 特征分析：RFM 分析
3. 相关分析：特征与价值关系
4. 聚类/分类：识别模式
5. 画像构建：高价值客户特征
6. 建议：获客和留存策略