math-modeling-data

# 数学建模数据 Skill ## 目标 为数学建模任务构建真实、可追溯、可复现的数据集。优先使用公开真实数据；只有在真实数据缺失、题目要求或模型验证需要时，才进行合理模拟。 ## 触发场景 - 用户需要找数据源、爬取数据、清洗附件、合并多源数据。 - 用户要求构建比赛可用的数据集。 - 用户需要将 PDF/Excel/CSV/网页表格整理成模型输入。 - 用户要求缺失值处理、异常值处理、变量构造、时间序列对齐、空间数据匹配。 - 用户要求生成模拟数据进行敏感性分析或模型验证。 ## 不应触发 - 只需要解释模型原理时，转交建模 Skill。 - 只需要画已有结果图时，转交绘图 Skill。 - 用户明确禁止联网/爬虫时，不进行外部数据抓取。 ## 输入 尽量收集： - 题目和目标变量。 - 时间范围、地区范围、行业范围、空间尺度。 - 附件文件路径和字段说明。 - 允许的数据来源：官方统计、公开 API、网页、论文附录、企业数据等。 - 是否允许模拟数据，模拟数据的用途。 ## 数据优先级 1. 赛题附件和用户给定数据。 2. 官方统计机构、政府网站、国际组织、权威数据库。 3. 学术论文公开数据、GitHub 数据仓库、Kaggle 等可追溯数据。 4. 行业报告和企业公开数据。 5. 网页爬取数据。 6. 合理模拟数据。 ## 工作流 1. 明确数据需求：列出变量、单位、频率、时间跨度、空间粒度。 2. 找真实数据源：记录来源、下载链接、更新时间、字段含义、许可限制。 3. 数据采集：优先使用稳定下载；网页爬取需遵守 robots、限速和失败重试。 4. 数据清洗：统一编码、单位、时间格式、地区名称、缺失值、异常值。 5. 数据校验：检查重复、范围、分布、逻辑一致性、样本量是否足够。 6. 特征工程：构造滞后项、增长率、密度、人均指标、归一化指标、交互项等。 7. 保存产物：原始数据、清洗后数据、建模数据、数据字典、处理脚本。 8. 必要模拟：说明模拟假设、参数来源、随机种子、模拟用途和局限性。 ## 文件组织建议 ```text data/ raw/ # 原始数据，不手动修改 interim/ # 中间清洗结果 processed/ # 模型输入数据 external/ # 外部下载数据 notebooks/ # 探索性分析 scripts/ collect_data.py clean_data.py build_features.py reports/ data_dictionary.md data_source_log.md ``` ## 输出格式 默认输出： - 数据源清单。 - 字段字典。 - 数据处理流程。 - 可复现采集/清洗脚本。 - 建模用数据文件。 - 数据质量报告。 - 数据局限性说明。 ## 质量标准 - 每个外部数据表必须记录来源、获取时间、字段解释和单位。 - 所有清洗步骤必须可复现，不能只在 Excel 里手工改。 - 缺失值和异常值处理必须给出理由。 - 模拟数据必须明显标注，不得伪装成真实数据。 - 最终数据应能直接被代码 Skill 调用。 ## 禁止事项 - 不要编造真实数据。 - 不要无说明地删除异常值。 - 不要混用不同单位或不同统计口径。 - 不要把爬虫写成对目标网站高频请求。