| name | structured-data-ingestion |
| description | 用于表/API/DB接入的结构化数据接入原子 skill,适用于通用行业数据接入场景。 |
结构化数据接入 Skill
数据来源
本 Skill 支持多种结构化数据源输入格式,核心数据来源包括:
1. 数据源类型
- 数据库:MySQL、PostgreSQL、Oracle、SQL Server等关系型数据库
- API接口:REST API、GraphQL API、SOAP API
- 表格文件:CSV文件、Excel文件、TSV文件
- 数据仓库:数据仓库、数据湖
2. 数据结构类型
- 关系型数据:表结构数据、关系数据
- 键值数据:键值对数据、字典数据
- JSON数据:JSON格式的结构化数据
- XML数据:XML格式的结构化数据
3. 数据格式要求
- 连接信息:数据库连接字符串、API端点地址
- 认证信息:用户名密码、API密钥、Token
- 查询信息:SQL查询语句、API请求参数
- 数据格式:数据格式和编码方式
4. 数据特征
- 数据规模:小数据集(<1万条)、大数据集(>100万条)
- 数据更新频率:实时更新、定时更新、批量更新
- 数据完整性:完整数据、部分数据
- 数据质量:高质量数据、低质量数据
说明:本 Skill 不包含数据源配置功能,需要用户提供数据源连接信息。建议数据源稳定可靠,以便进行准确的数据接入。
功能
本 Skill 提供全面的结构化数据接入能力,涵盖多种接入功能:
1. 数据源连接
- 数据库连接:连接各类关系型数据库
- API连接:连接各类API接口
- 文件读取:读取各类表格文件
- 连接管理:管理数据源连接
2. 数据查询
- SQL查询:执行SQL查询语句
- API请求:发送API请求获取数据
- 文件读取:读取文件数据
- 查询优化:优化查询性能
3. 数据提取
- 数据提取:从数据源提取数据
- 增量提取:增量提取数据
- 全量提取:全量提取数据
- 批量提取:批量提取数据
4. 数据转换
- 格式转换:转换数据格式
- 结构转换:转换数据结构
- 编码转换:转换数据编码
- 类型转换:转换数据类型
5. 数据验证
- 数据完整性验证:验证数据的完整性
- 数据准确性验证:验证数据的准确性
- 数据一致性验证:验证数据的一致性
- 数据质量评估:评估数据的质量
6. 高级处理功能
- 数据缓存:缓存数据提高性能
- 数据同步:同步数据源数据
- 错误处理:处理数据接入错误
- 接入报告:生成数据接入报告
使用示例
输出示例
{
"source_info": {
"source_type": "database",
"source_name": "financial_db",
"connection_string": "mysql://user:pass@host:3306/db",
"table_name": "stock_prices"
},
"ingestion_config": {
"extraction_mode": "incremental",
"time_field": "trade_date",
"last_sync_time": "2024-03-14T10:00:00",
"batch_size": 1000
},
"ingestion_results": {
"total_records": 5000,
"new_records": 500,
"updated_records": 4500,
注意事项与限制
1. 数据源要求
- 数据源需要稳定可靠
- 连接信息需要准确
- 认证信息需要有效
2. 数据接入性能
- 大数据量可能影响性能
- 网络延迟可能影响速度
- 需要合理设置批处理大小
3. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理
4. 错误处理
- 连接错误需要重试机制
- 数据错误需要记录日志
- 需要监控接入状态
5. 使用限制
- 本 Skill 不包含数据源管理功能
- 接入结果需要人工复核
- 复杂数据源可能需要特殊处理
参考资料
- 见 references/ 目录中的相关文档,包括:
- 结构化数据接入方法手册
- 数据源连接配置指南
- 数据转换规则说明
- 性能优化指南