semi-structured-data-ingestion

# 半结构化数据接入 Skill ## 数据来源 本 Skill 支持多种半结构化数据源输入格式，核心数据来源包括： ### 1. 数据源类型 - **Excel文件**：.xls、.xlsx格式的Excel文件 - **表单数据**：在线表单、调查表单、登记表单 - **JSON文件**：JSON格式的半结构化数据 - **XML文件**：XML格式的半结构化数据 ### 2. 数据结构类型 - **表格数据**：Excel表格、CSV表格 - **表单数据**：表单提交数据、表单响应数据 - **嵌套数据**：嵌套JSON、嵌套XML - **混合数据**：混合格式数据 ### 3. 数据格式要求 - **文件路径**：本地文件路径或网络文件URL - **文件格式**：Excel、JSON、XML等格式 - **文件编码**：UTF-8、GBK、GB2312等 - **文件权限**：需要读取权限 ### 4. 数据特征 - **数据规模**：小数据集（<1万条）、大数据集（>10万条） - **数据结构**：规则结构、不规则结构 - **数据完整性**：完整数据、部分数据 - **数据质量**：高质量数据、低质量数据 > 说明：本 Skill 不包含数据采集功能，需要用户提供半结构化数据文件。建议数据格式规范，以便进行准确的数据接入。 --- ## 功能 本 Skill 提供全面的半结构化数据接入能力，涵盖多种接入功能： ### 1. 文件读取 - **Excel读取**：读取Excel文件数据 - **JSON读取**：读取JSON文件数据 - **XML读取**：读取XML文件数据 - **文件格式识别**：自动识别文件格式 ### 2. 数据结构解析 - **表格结构解析**：解析表格的行列结构 - **嵌套结构解析**：解析嵌套数据结构 - **结构识别**：识别数据结构模式 - **结构标准化**：标准化数据结构 ### 3. 数据提取 - **数据提取**：从文件中提取数据 - **多工作表提取**：提取Excel多个工作表数据 - **选择性提取**：选择性提取指定数据 - **批量提取**：批量提取多个文件数据 ### 4. 数据转换 - **格式转换**：转换数据格式 - **结构转换**：转换数据结构 - **编码转换**：转换数据编码 - **类型转换**：转换数据类型 ### 5. 数据验证 - **数据完整性验证**：验证数据的完整性 - **数据准确性验证**：验证数据的准确性 - **数据一致性验证**：验证数据的一致性 - **数据质量评估**：评估数据的质量 ### 6. 高级处理功能 - **数据清洗**：清洗数据中的问题 - **数据补全**：补全缺失的数据 - **数据标准化**：标准化数据格式 - **接入报告**：生成数据接入报告 --- ## 使用示例 ### 输出示例 ```json { "source_info": { "source_type": "excel_file", "source_file": "financial_data.xlsx", "file_size": 2048000, "sheet_count": 3 }, "ingestion_config": { "sheets": ["利润表", "资产负债表", "现金流量表"], "header_row": 1, "data_start_row": 2, "encoding": "UTF-8" }, "ingestion_results": { "total_sheets": 3, "total_records": 5000, "successful_records": 4950, "failed_records": 50, "ingestion_time": "2024-03-15T10:00:00", "duration": "45s" }, "data_structure": { "sheets": [ { "sheet_name": "利润表", "row_count": 30, "column_count": 5, "headers": ["项目", "2024年", "2023年", "2022年", "2021年"], "data_records": 28 } ] }, "data_sample": [ { "sheet": "利润表", "row": 2, "data": { "项目": "营业收入", "2024年": 1000000000, "2023年": 900000000, "2022年": 800000000, "2021年": 700000000 } } ], "data_quality": { "completeness": 0.99, "accuracy": 0.97, "consistency": 0.96, "overall_score": 0.97 }, "statistics": { "files_processed": 1, "records_ingested": 4950, "records_failed": 50, "success_rate": 0.99 } } ``` --- ## 注意事项与限制 ### 1. 文件格式要求 - 标准格式文件接入准确率较高 - 非标准格式可能影响接入 - 文件损坏可能无法读取 ### 2. 数据结构识别 - 规则结构识别准确率较高 - 不规则结构可能需要人工处理 - 复杂结构可能需要特殊处理 ### 3. 数据提取准确性 - 标准表格提取准确率较高 - 复杂表格可能需要人工处理 - 合并单元格可能影响提取 ### 4. 数据质量 - 数据质量影响接入结果 - 需要验证数据完整性 - 异常数据需要处理 ### 5. 使用限制 - 本 Skill 不包含文件编辑功能 - 接入结果需要人工复核 - 复杂文件可能需要人工处理 --- ## 参考资料 - 见 references/ 目录中的相关文档，包括： - 半结构化数据接入方法手册 - Excel文件解析指南 - JSON/XML解析说明 - 性能优化指南