structured-data-ingestion

name	structured-data-ingestion
description	用于表/API/DB接入的结构化数据接入原子 skill，适用于通用行业数据接入场景。

结构化数据接入 Skill

数据来源

本 Skill 支持多种结构化数据源输入格式，核心数据来源包括：

1. 数据源类型

• 数据库：MySQL、PostgreSQL、Oracle、SQL Server等关系型数据库
• API接口：REST API、GraphQL API、SOAP API
• 表格文件：CSV文件、Excel文件、TSV文件
• 数据仓库：数据仓库、数据湖

2. 数据结构类型

• 关系型数据：表结构数据、关系数据
• 键值数据：键值对数据、字典数据
• JSON数据：JSON格式的结构化数据
• XML数据：XML格式的结构化数据

3. 数据格式要求

• 连接信息：数据库连接字符串、API端点地址
• 认证信息：用户名密码、API密钥、Token
• 查询信息：SQL查询语句、API请求参数
• 数据格式：数据格式和编码方式

4. 数据特征

• 数据规模：小数据集（<1万条）、大数据集（>100万条）
• 数据更新频率：实时更新、定时更新、批量更新
• 数据完整性：完整数据、部分数据
• 数据质量：高质量数据、低质量数据

说明：本 Skill 不包含数据源配置功能，需要用户提供数据源连接信息。建议数据源稳定可靠，以便进行准确的数据接入。

---

功能

本 Skill 提供全面的结构化数据接入能力，涵盖多种接入功能：

1. 数据源连接

• 数据库连接：连接各类关系型数据库
• API连接：连接各类API接口
• 文件读取：读取各类表格文件
• 连接管理：管理数据源连接

2. 数据查询

• SQL查询：执行SQL查询语句
• API请求：发送API请求获取数据
• 文件读取：读取文件数据
• 查询优化：优化查询性能

3. 数据提取

• 数据提取：从数据源提取数据
• 增量提取：增量提取数据
• 全量提取：全量提取数据
• 批量提取：批量提取数据

4. 数据转换

• 格式转换：转换数据格式
• 结构转换：转换数据结构
• 编码转换：转换数据编码
• 类型转换：转换数据类型

5. 数据验证

• 数据完整性验证：验证数据的完整性
• 数据准确性验证：验证数据的准确性
• 数据一致性验证：验证数据的一致性
• 数据质量评估：评估数据的质量

6. 高级处理功能

• 数据缓存：缓存数据提高性能
• 数据同步：同步数据源数据
• 错误处理：处理数据接入错误
• 接入报告：生成数据接入报告

---

使用示例

输出示例

{
  "source_info": {
    "source_type": "database",
    "source_name": "financial_db",
    "connection_string": "mysql://user:pass@host:3306/db",
    "table_name": "stock_prices"
  },
  "ingestion_config": {
    "extraction_mode": "incremental",
    "time_field": "trade_date",
    "last_sync_time": "2024-03-14T10:00:00",
    "batch_size": 1000
  },
  "ingestion_results": {
    "total_records": 5000,
    "new_records": 500,
    "updated_records": 4500,
     
     
     
  
   
    
       
       
       
       
       
    
  
   
     
     
     
     
  
   
     
     
     
     
  

---

注意事项与限制

1. 数据源要求

• 数据源需要稳定可靠
• 连接信息需要准确
• 认证信息需要有效

2. 数据接入性能

• 大数据量可能影响性能
• 网络延迟可能影响速度
• 需要合理设置批处理大小

3. 数据质量

• 数据质量影响接入结果
• 需要验证数据完整性
• 异常数据需要处理

4. 错误处理

• 连接错误需要重试机制
• 数据错误需要记录日志
• 需要监控接入状态

5. 使用限制

• 本 Skill 不包含数据源管理功能
• 接入结果需要人工复核
• 复杂数据源可能需要特殊处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 结构化数据接入方法手册
  • 数据源连接配置指南
  • 数据转换规则说明
  • 性能优化指南