structured-data-ingestion

# 结构化数据接入 Skill ## 数据来源 本 Skill 支持多种结构化数据源输入格式，核心数据来源包括： ### 1. 数据源类型 - **数据库**：MySQL、PostgreSQL、Oracle、SQL Server等关系型数据库 - **API接口**：REST API、GraphQL API、SOAP API - **表格文件**：CSV文件、Excel文件、TSV文件 - **数据仓库**：数据仓库、数据湖 ### 2. 数据结构类型 - **关系型数据**：表结构数据、关系数据 - **键值数据**：键值对数据、字典数据 - **JSON数据**：JSON格式的结构化数据 - **XML数据**：XML格式的结构化数据 ### 3. 数据格式要求 - **连接信息**：数据库连接字符串、API端点地址 - **认证信息**：用户名密码、API密钥、Token - **查询信息**：SQL查询语句、API请求参数 - **数据格式**：数据格式和编码方式 ### 4. 数据特征 - **数据规模**：小数据集（<1万条）、大数据集（>100万条） - **数据更新频率**：实时更新、定时更新、批量更新 - **数据完整性**：完整数据、部分数据 - **数据质量**：高质量数据、低质量数据 > 说明：本 Skill 不包含数据源配置功能，需要用户提供数据源连接信息。建议数据源稳定可靠，以便进行准确的数据接入。 --- ## 功能 本 Skill 提供全面的结构化数据接入能力，涵盖多种接入功能： ### 1. 数据源连接 - **数据库连接**：连接各类关系型数据库 - **API连接**：连接各类API接口 - **文件读取**：读取各类表格文件 - **连接管理**：管理数据源连接 ### 2. 数据查询 - **SQL查询**：执行SQL查询语句 - **API请求**：发送API请求获取数据 - **文件读取**：读取文件数据 - **查询优化**：优化查询性能 ### 3. 数据提取 - **数据提取**：从数据源提取数据 - **增量提取**：增量提取数据 - **全量提取**：全量提取数据 - **批量提取**：批量提取数据 ### 4. 数据转换 - **格式转换**：转换数据格式 - **结构转换**：转换数据结构 - **编码转换**：转换数据编码 - **类型转换**：转换数据类型 ### 5. 数据验证 - **数据完整性验证**：验证数据的完整性 - **数据准确性验证**：验证数据的准确性 - **数据一致性验证**：验证数据的一致性 - **数据质量评估**：评估数据的质量 ### 6. 高级处理功能 - **数据缓存**：缓存数据提高性能 - **数据同步**：同步数据源数据 - **错误处理**：处理数据接入错误 - **接入报告**：生成数据接入报告 --- ## 使用示例 ### 输出示例 ```json { "source_info": { "source_type": "database", "source_name": "financial_db", "connection_string": "mysql://user:pass@host:3306/db", "table_name": "stock_prices" }, "ingestion_config": { "extraction_mode": "incremental", "time_field": "trade_date", "last_sync_time": "2024-03-14T10:00:00", "batch_size": 1000 }, "ingestion_results": { "total_records": 5000, "new_records": 500, "updated_records": 4500, "failed_records": 0, "ingestion_time": "2024-03-15T10:00:00", "duration": "30s" }, "data_sample": [ { "trade_date": "2024-03-15", "stock_code": "000001", "open_price": 10.50, "close_price": 10.80, "volume": 1000000 } ], "data_quality": { "completeness": 1.0, "accuracy": 0.99, "consistency": 0.98, "overall_score": 0.99 }, "statistics": { "records_ingested": 5000, "records_failed": 0, "ingestion_rate": "166.7 records/s", "success_rate": 1.0 } } ``` --- ## 注意事项与限制 ### 1. 数据源要求 - 数据源需要稳定可靠 - 连接信息需要准确 - 认证信息需要有效 ### 2. 数据接入性能 - 大数据量可能影响性能 - 网络延迟可能影响速度 - 需要合理设置批处理大小 ### 3. 数据质量 - 数据质量影响接入结果 - 需要验证数据完整性 - 异常数据需要处理 ### 4. 错误处理 - 连接错误需要重试机制 - 数据错误需要记录日志 - 需要监控接入状态 ### 5. 使用限制 - 本 Skill 不包含数据源管理功能 - 接入结果需要人工复核 - 复杂数据源可能需要特殊处理 --- ## 参考资料 - 见 references/ 目录中的相关文档，包括： - 结构化数据接入方法手册 - 数据源连接配置指南 - 数据转换规则说明 - 性能优化指南