| name | semi-structured-data-ingestion |
| description | 用于Excel/表单接入的半结构化数据接入原子 skill,适用于通用行业数据接入场景。 |
半结构化数据接入 Skill
数据来源
本 Skill 支持多种半结构化数据源输入格式,核心数据来源包括:
1. 数据源类型
- Excel文件:.xls、.xlsx格式的Excel文件
- 表单数据:在线表单、调查表单、登记表单
- JSON文件:JSON格式的半结构化数据
- XML文件:XML格式的半结构化数据
2. 数据结构类型
- 表格数据:Excel表格、CSV表格
- 表单数据:表单提交数据、表单响应数据
- 嵌套数据:嵌套JSON、嵌套XML
- 混合数据:混合格式数据
3. 数据格式要求
- 文件路径:本地文件路径或网络文件URL
- 文件格式:Excel、JSON、XML等格式
- 文件编码:UTF-8、GBK、GB2312等
- 文件权限:需要读取权限
4. 数据特征
- 数据规模:小数据集(<1万条)、大数据集(>10万条)
- 数据结构:规则结构、不规则结构
- 数据完整性:完整数据、部分数据
- 数据质量:高质量数据、低质量数据
说明:本 Skill 不包含数据采集功能,需要用户提供半结构化数据文件。建议数据格式规范,以便进行准确的数据接入。
功能
本 Skill 提供全面的半结构化数据接入能力,涵盖多种接入功能:
1. 文件读取
- Excel读取:读取Excel文件数据
- JSON读取:读取JSON文件数据
- XML读取:读取XML文件数据
- 文件格式识别:自动识别文件格式
2. 数据结构解析
- 表格结构解析:解析表格的行列结构
- 嵌套结构解析:解析嵌套数据结构
- 结构识别:识别数据结构模式
- 结构标准化:标准化数据结构
3. 数据提取
- 数据提取:从文件中提取数据
- 多工作表提取:提取Excel多个工作表数据
- 选择性提取:选择性提取指定数据
- 批量提取:批量提取多个文件数据
4. 数据转换
- 格式转换:转换数据格式
- 结构转换:转换数据结构
- 编码转换:转换数据编码
- 类型转换:转换数据类型
5. 数据验证
- 数据完整性验证:验证数据的完整性
- 数据准确性验证:验证数据的准确性
- 数据一致性验证:验证数据的一致性
- 数据质量评估:评估数据的质量
6. 高级处理功能
- 数据清洗:清洗数据中的问题
- 数据补全:补全缺失的数据
- 数据标准化:标准化数据格式
- 接入报告:生成数据接入报告
使用示例
输出示例
{
"source_info": {
"source_type": "excel_file",
"source_file": "financial_data.xlsx",
"file_size": 2048000,
"sheet_count": 3
},
"ingestion_config": {
"sheets": ["利润表", "资产负债表", "现金流量表"],
"header_row": 1,
"data_start_row": 2,
"encoding": "UTF-8"
},
"ingestion_results": {
"total_sheets": 3,
"total_records": 5000,
注意事项与限制
1. 文件格式要求
- 标准格式文件接入准确率较高
- 非标准格式可能影响接入
- 文件损坏可能无法读取
2. 数据结构识别
- 规则结构识别准确率较高
- 不规则结构可能需要人工处理
- 复杂结构可能需要特殊处理
3. 数据提取准确性
- 标准表格提取准确率较高
- 复杂表格可能需要人工处理
- 合并单元格可能影响提取
4. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理
5. 使用限制
- 本 Skill 不包含文件编辑功能
- 接入结果需要人工复核
- 复杂文件可能需要人工处理
参考资料
- 见 references/ 目录中的相关文档,包括:
- 半结构化数据接入方法手册
- Excel文件解析指南
- JSON/XML解析说明
- 性能优化指南