field-mapping-normalization

# 字段映射与标准化 Skill ## 数据来源 本 Skill 支持多种异构数据输入格式，核心数据来源包括： ### 1. 数据源类型 - **数据库**：多个不同结构的数据库 - **API接口**：多个不同格式的API接口 - **文件数据**：多个不同格式的文件 - **系统数据**：多个不同系统的数据 ### 2. 字段特征 - **字段名称**：不同命名规则的字段名称 - **字段类型**：不同数据类型的字段 - **字段格式**：不同格式的字段值 - **字段单位**：不同单位的字段值 ### 3. 数据格式要求 - **源数据**：需要映射的源数据 - **目标数据**：目标数据格式和结构 - **映射规则**：字段映射规则和转换规则 - **标准规范**：字段标准规范定义 ### 4. 映射特征 - **映射类型**：一对一映射、一对多映射、多对一映射 - **映射复杂度**：简单映射、复杂映射 - **映射规则**：规则映射、自定义映射 - **映射范围**：部分字段映射、全字段映射 > 说明：本 Skill 不包含数据采集功能，需要用户提供源数据和映射规则。建议映射规则清晰明确，以便进行准确的字段映射和标准化。 --- ## 功能 本 Skill 提供全面的字段映射与标准化能力，涵盖多种映射功能： ### 1. 字段映射 - **字段名称映射**：映射不同名称的字段 - **字段类型映射**：映射不同类型的字段 - **字段格式映射**：映射不同格式的字段 - **字段单位映射**：映射不同单位的字段 ### 2. 字段标准化 - **字段名称标准化**：标准化字段名称 - **字段类型标准化**：标准化字段类型 - **字段格式标准化**：标准化字段格式 - **字段值标准化**：标准化字段值 ### 3. 数据转换 - **格式转换**：转换数据格式 - **类型转换**：转换数据类型 - **单位转换**：转换数据单位 - **编码转换**：转换数据编码 ### 4. 映射规则管理 - **规则定义**：定义字段映射规则 - **规则验证**：验证映射规则的有效性 - **规则应用**：应用映射规则到数据 - **规则优化**：优化映射规则性能 ### 5. 数据验证 - **映射完整性验证**：验证映射的完整性 - **映射准确性验证**：验证映射的准确性 - **数据一致性验证**：验证数据的一致性 - **标准化结果验证**：验证标准化结果 ### 6. 高级处理功能 - **批量映射**：批量处理多个字段映射 - **增量映射**：增量更新字段映射 - **映射报告**：生成字段映射报告 - **映射监控**：监控映射过程和结果 --- ## 使用示例 ### 输出示例 ```json { "source_info": { "source_data": "financial_data.csv", "source_format": "csv", "field_count": 20 }, "target_info": { "target_format": "standard_financial", "target_schema": "financial_schema_v1" }, "mapping_rules": [ { "source_field": "revenue", "target_field": "营业收入", "standard_field": "revenue", "mapping_type": "direct", "transformation": { "type": "unit_conversion", "from_unit": "USD", "to_unit": "CNY", "exchange_rate": 7.2 } }, { "source_field": "profit", "target_field": "净利润", "standard_field": "net_income", "mapping_type": "direct", "transformation": null } ], "mapping_results": { "total_fields": 20, "mapped_fields": 18, "unmapped_fields": 2, "mapping_time": "2024-03-15T10:00:00", "duration": "5s" }, "normalized_data": { "sample_records": [ { "revenue": 7200000000, "net_income": 200000000, "standard_format": true } ] }, "statistics": { "fields_mapped": 18, "fields_normalized": 18, "mapping_accuracy": 0.95, "normalization_accuracy": 0.97 } } ``` --- ## 注意事项与限制 ### 1. 映射规则要求 - 映射规则需要清晰明确 - 规则需要覆盖所有字段 - 规则需要验证有效性 ### 2. 数据转换准确性 - 标准转换准确率较高 - 复杂转换可能需要特殊处理 - 单位转换需要正确汇率 ### 3. 字段标准化 - 标准字段标准化准确率较高 - 非标准字段可能需要人工处理 - 字段值标准化需要正确处理 ### 4. 数据一致性 - 需要保证映射后数据一致性 - 需要验证映射结果 - 异常数据需要处理 ### 5. 使用限制 - 本 Skill 不包含数据采集功能 - 映射结果需要人工复核 - 复杂映射可能需要特殊处理 --- ## 参考资料 - 见 references/ 目录中的相关文档，包括： - 字段映射与标准化方法手册 - 字段标准规范定义 - 映射规则配置指南 - 性能优化指南