corr-insight

name	corr-insight
description	计算变量间的Pearson或Spearman相关矩阵、偏相关分析，并自动识别因混淆变量导致的伪相关。当用户需要检查数据相关性、计算相关系数、进行偏相关分析，或提及伪相关、spurious correlation、混淆变量等关键词时触发。
license	MIT

correlation-explorer

相关性分析工具 —— 对表格数据计算 Pearson/Spearman 相关矩阵、偏相关矩阵，并自动识别疑似伪相关（由混淆变量导致的虚假关联）。

能力概览

功能	说明
Pearson 相关矩阵	线性相关系数 + p 值，适用于连续且近似正态的变量
Spearman 相关矩阵	秩相关系数 + p 值，适用于非线性单调关系或有序变量
偏相关矩阵	控制所有其他变量后的净相关（精度矩阵法），揭示变量间的直接关联
伪相关识别	自动对比简单相关与偏相关，标记因混淆变量导致的虚假显著相关
通俗解读	用中文对每对变量的相关强度、显著性、偏相关变化给出说明

Quick Start

# 分析所有数值列的相关性
python3 scripts/correlation_explorer.py data.csv

# 只分析指定列
python3 scripts/correlation_explorer.py data.csv -f "age,income,spending,score"

# 只算 Pearson
python3 scripts/correlation_explorer.py data.csv -m pearson

# 保存结果到 JSON
python3 scripts/correlation_explorer.py data.csv -o result.json

详细用法

基本调用

python3 scripts/correlation_explorer.py <数据文件> [选项]

选择相关系数类型

# 同时计算 Pearson 和 Spearman（默认）
python3 scripts/correlation_explorer.py data.csv -m all

# 只计算 Pearson
python3 scripts/correlation_explorer.py data.csv -m pearson

# 只计算 Spearman
python3 scripts/correlation_explorer.py data.csv -m spearman

调整伪相关检测灵敏度

# 更严格：相关系数下降 30% 即报警
python3 scripts/correlation_explorer.py data.csv -d 0.3

# 更宽松：下降 70% 才报警
python3 scripts/correlation_explorer.py data.csv -d 0.7

# 使用 0.01 显著性水平
python3 scripts/correlation_explorer.py data.csv -a 0.01

参数说明

参数	缩写	必填	默认值	说明
input	—	是	—	输入文件路径（CSV/TSV/Excel/JSON）
--features	-f	否	全部数值列	要分析的列名，逗号分隔
--method	-m	否	all	相关系数类型：all / pearson / spearman
--alpha	-a	否	0.05	显著性水平
--drop-threshold	-d	否	0.5	伪相关判定的下降阈值（0~1，默认 50%）
--output	-o	否	标准输出	结果 JSON 保存路径

输出结构（JSON）

{
  "n_observations": 200,
  "n_variables": 4,
  "features": ["age", "income", "spending", "score"],
  "pearson": {
    "columns": ["age", "income", "spending", "score"],
    "correlation": [[1.0, 0.72, ...], ...],
    "p_values": [[0.0, 0.0001, ...], ...]
  }
       
   
        
       ... ...
       ... ...
     
  
   
    
       
       
       
       
       
        
    
  
   
     
     
     
     
  

核心概念

偏相关 vs 简单相关

• 简单相关（Pearson/Spearman）：两变量之间的总体关联，可能混入第三方变量的影响
• 偏相关：控制了所有其他变量后，两变量之间的"净"关联
• 如果偏相关远小于简单相关，说明两变量的关联很大程度上是由其他变量"中介"或"混淆"的

伪相关（Spurious Correlation）

当两个变量看似相关，但实际上是因为它们都受到第三方混淆变量的影响。本工具通过对比简单相关和偏相关来自动识别这类情况。

依赖

• Python 3.8+
• pandas
• numpy
• scipy

pip install pandas numpy scipy