multi-source-data-aggregation

# 多源数据聚合 Skill ## 数据来源 本 Skill 支持多种数据源聚合输入格式，核心数据来源包括： ### 1. 数据源类型 - **数据库**：多个数据库数据源 - **API接口**：多个API接口数据源 - **文件数据**：多个文件数据源 - **流式数据**：多个流式数据源 ### 2. 数据源特征 - **数据源数量**：少量数据源（<10个）、大量数据源（>100个） - **数据源类型**：同类型数据源、混合类型数据源 - **数据更新频率**：实时更新、定时更新、批量更新 - **数据源可靠性**：高可靠性、低可靠性 ### 3. 数据格式要求 - **数据源配置**：数据源连接配置信息 - **聚合规则**：数据聚合规则和策略 - **数据映射**：数据字段映射关系 - **数据格式**：数据格式和编码方式 ### 4. 聚合特征 - **聚合方式**：合并、汇总、关联等聚合方式 - **聚合粒度**：明细级、汇总级、统计级 - **聚合时间**：实时聚合、定时聚合、批量聚合 - **聚合范围**：全量聚合、增量聚合 > 说明：本 Skill 不包含数据源配置功能，需要用户提供数据源配置信息。建议数据源稳定可靠，以便进行准确的数据聚合。 --- ## 功能 本 Skill 提供全面的多源数据聚合能力，涵盖多种聚合功能： ### 1. 数据源管理 - **数据源连接**：连接多个数据源 - **数据源配置**：配置数据源参数 - **数据源监控**：监控数据源状态 - **数据源调度**：调度数据源访问 ### 2. 数据提取 - **并行提取**：并行从多个数据源提取数据 - **增量提取**：增量提取数据源数据 - **全量提取**：全量提取数据源数据 - **选择性提取**：选择性提取指定数据 ### 3. 数据聚合 - **数据合并**：合并多个数据源的数据 - **数据汇总**：汇总多个数据源的数据 - **数据关联**：关联多个数据源的数据 - **数据聚合**：聚合多个数据源的数据 ### 4. 数据转换 - **格式转换**：转换数据格式 - **结构转换**：转换数据结构 - **字段映射**：映射数据字段 - **数据标准化**：标准化数据格式 ### 5. 数据验证 - **数据完整性验证**：验证数据的完整性 - **数据准确性验证**：验证数据的准确性 - **数据一致性验证**：验证数据的一致性 - **数据质量评估**：评估数据的质量 ### 6. 高级处理功能 - **数据去重**：去除重复数据 - **数据补全**：补全缺失数据 - **数据清洗**：清洗数据问题 - **聚合报告**：生成数据聚合报告 --- ## 使用示例 ### 输出示例 ```json { "source_info": { "source_count": 5, "source_types": ["database", "api", "file"], "aggregation_strategy": "merge" }, "data_sources": [ { "source_id": "SRC001", "source_type": "database", "source_name": "financial_db", "status": "connected", "records_count": 10000 }, { "source_id": "SRC002", "source_type": "api", "source_name": "market_data_api", "status": "connected", "records_count": 5000 } ], "aggregation_config": { "aggregation_mode": "merge", "key_fields": ["stock_code", "trade_date"], "merge_strategy": "outer", "conflict_resolution": "latest" }, "aggregation_results": { "total_records": 15000, "merged_records": 12000, "duplicate_records": 3000, "aggregation_time": "2024-03-15T10:00:00", "duration": "60s" }, "aggregated_data": { "sample_records": [ { "stock_code": "000001", "trade_date": "2024-03-15", "price": 10.50, "volume": 1000000, "source": ["SRC001", "SRC002"] } ] }, "data_quality": { "completeness": 0.98, "accuracy": 0.97, "consistency": 0.96, "overall_score": 0.97 }, "statistics": { "sources_processed": 5, "records_aggregated": 12000, "aggregation_rate": "200 records/s", "success_rate": 0.98 } } ``` --- ## 注意事项与限制 ### 1. 数据源要求 - 数据源需要稳定可靠 - 连接信息需要准确 - 数据格式需要兼容 ### 2. 数据聚合性能 - 多数据源可能影响性能 - 大数据量可能影响速度 - 需要合理设置聚合策略 ### 3. 数据一致性 - 不同数据源数据可能不一致 - 需要处理数据冲突 - 需要验证数据一致性 ### 4. 数据质量 - 数据质量影响聚合结果 - 需要验证数据完整性 - 异常数据需要处理 ### 5. 使用限制 - 本 Skill 不包含数据源管理功能 - 聚合结果需要人工复核 - 复杂聚合可能需要特殊处理 --- ## 参考资料 - 见 references/ 目录中的相关文档，包括： - 多源数据聚合方法手册 - 数据源配置指南 - 数据聚合策略说明 - 性能优化指南