multi-source-data-aggregation

name	multi-source-data-aggregation
description	用于多系统整合的多源数据聚合原子 skill，适用于通用行业数据接入场景。

多源数据聚合 Skill

数据来源

本 Skill 支持多种数据源聚合输入格式，核心数据来源包括：

1. 数据源类型

• 数据库：多个数据库数据源
• API接口：多个API接口数据源
• 文件数据：多个文件数据源
• 流式数据：多个流式数据源

2. 数据源特征

• 数据源数量：少量数据源（<10个）、大量数据源（>100个）
• 数据源类型：同类型数据源、混合类型数据源
• 数据更新频率：实时更新、定时更新、批量更新
• 数据源可靠性：高可靠性、低可靠性

3. 数据格式要求

• 数据源配置：数据源连接配置信息
• 聚合规则：数据聚合规则和策略
• 数据映射：数据字段映射关系
• 数据格式：数据格式和编码方式

4. 聚合特征

• 聚合方式：合并、汇总、关联等聚合方式
• 聚合粒度：明细级、汇总级、统计级
• 聚合时间：实时聚合、定时聚合、批量聚合
• 聚合范围：全量聚合、增量聚合

说明：本 Skill 不包含数据源配置功能，需要用户提供数据源配置信息。建议数据源稳定可靠，以便进行准确的数据聚合。

---

功能

本 Skill 提供全面的多源数据聚合能力，涵盖多种聚合功能：

1. 数据源管理

• 数据源连接：连接多个数据源
• 数据源配置：配置数据源参数
• 数据源监控：监控数据源状态
• 数据源调度：调度数据源访问

2. 数据提取

• 并行提取：并行从多个数据源提取数据
• 增量提取：增量提取数据源数据
• 全量提取：全量提取数据源数据
• 选择性提取：选择性提取指定数据

3. 数据聚合

• 数据合并：合并多个数据源的数据
• 数据汇总：汇总多个数据源的数据
• 数据关联：关联多个数据源的数据
• 数据聚合：聚合多个数据源的数据

4. 数据转换

• 格式转换：转换数据格式
• 结构转换：转换数据结构
• 字段映射：映射数据字段
• 数据标准化：标准化数据格式

5. 数据验证

• 数据完整性验证：验证数据的完整性
• 数据准确性验证：验证数据的准确性
• 数据一致性验证：验证数据的一致性
• 数据质量评估：评估数据的质量

6. 高级处理功能

• 数据去重：去除重复数据
• 数据补全：补全缺失数据
• 数据清洗：清洗数据问题
• 聚合报告：生成数据聚合报告

---

使用示例

输出示例

{
  "source_info": {
    "source_count": 5,
    "source_types": ["database", "api", "file"],
    "aggregation_strategy": "merge"
  },
  "data_sources": [
    {
      "source_id": "SRC001",
      "source_type": "database",
      "source_name": "financial_db",
      "status": "connected",
      "records_count": 10000
    },
    {
      "source_id": "SRC002",
      "source_type": "api",
       
       
       
    
  
   
     
      
     
     
  
   
     
     
     
     
     
  
   
     
      
         
         
         
         
          
      
    
  
   
     
     
     
     
  
   
     
     
     
     
  

---

注意事项与限制

1. 数据源要求

• 数据源需要稳定可靠
• 连接信息需要准确
• 数据格式需要兼容

2. 数据聚合性能

• 多数据源可能影响性能
• 大数据量可能影响速度
• 需要合理设置聚合策略

3. 数据一致性

• 不同数据源数据可能不一致
• 需要处理数据冲突
• 需要验证数据一致性

4. 数据质量

• 数据质量影响聚合结果
• 需要验证数据完整性
• 异常数据需要处理

5. 使用限制

• 本 Skill 不包含数据源管理功能
• 聚合结果需要人工复核
• 复杂聚合可能需要特殊处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 多源数据聚合方法手册
  • 数据源配置指南
  • 数据聚合策略说明
  • 性能优化指南