entity-normalization

# 实体标准化 Skill ## 数据来源 本 Skill 支持多种实体数据输入格式，核心数据来源包括： ### 1. 实体数据来源 - **实体识别结果**：从文本中识别出的实体 - **实体列表**：已有的实体列表和实体库 - **数据库记录**：数据库中的实体记录 - **API接口数据**：通过API获取的实体数据 ### 2. 实体类型 - **公司实体**：公司名称、机构名称 - **人物实体**：人名、职位名称 - **产品实体**：产品名称、服务名称 - **地点实体**：地名、地址 ### 3. 数据格式要求 - **JSON格式**：结构化的实体数据 - **CSV格式**：表格格式的实体数据 - **文本格式**：纯文本实体列表 - **数据库连接**：支持SQL数据库直接查询 ### 4. 实体特征 - **实体名称**：实体的名称和别名 - **实体类型**：实体的类型和类别 - **实体属性**：实体的相关属性 - **实体上下文**：实体的上下文信息 > 说明：本 Skill 不包含实体识别功能，需要用户提供已识别的实体数据。建议实体数据包含足够的上下文信息，以便进行准确的标准化。 --- ## 功能 本 Skill 提供全面的实体标准化能力，涵盖多种标准化功能： ### 1. 实体名称标准化 - **名称归一化**：将不同表述的实体名称统一为标准名称 - **别名识别**：识别实体的别名和简称 - **名称纠错**：纠正实体名称中的错误 - **名称补全**：补全实体名称的缺失部分 ### 2. 实体类型标准化 - **类型分类**：对实体进行类型分类 - **类型映射**：将非标准类型映射到标准类型 - **类型验证**：验证实体类型的正确性 - **类型补全**：补全缺失的实体类型 ### 3. 实体属性标准化 - **属性提取**：提取实体的标准属性 - **属性映射**：将非标准属性映射到标准属性 - **属性验证**：验证实体属性的正确性 - **属性补全**：补全缺失的实体属性 ### 4. 实体消歧 - **同名实体区分**：区分同名但不同的实体 - **实体合并**：合并指向同一实体的不同表述 - **实体链接**：将实体链接到知识库 - **实体验证**：验证实体的唯一性 ### 5. 实体匹配 - **相似实体匹配**：匹配相似的实体 - **模糊匹配**：支持模糊实体匹配 - **精确匹配**：支持精确实体匹配 - **匹配评分**：提供匹配评分和置信度 ### 6. 高级处理功能 - **批量标准化**：批量处理多个实体 - **增量标准化**：增量更新实体标准化结果 - **标准化规则**：支持自定义标准化规则 - **标准化报告**：生成标准化报告和统计 --- ## 使用示例 ### 输出示例 ```json { "input_entities": [ { "entity_id": "ENT001", "original_name": "中国工商银行", "entity_type": "bank", "context": "公告中提到中国工商银行" }, { "entity_id": "ENT002", "original_name": "工商银行", "entity_type": "bank", "context": "工商银行发布公告" }, { "entity_id": "ENT003", "original_name": "ICBC", "entity_type": "bank", "context": "ICBC的财务报告" } ], "normalized_entities": [ { "entity_id": "ENT001", "original_name": "中国工商银行", "normalized_name": "中国工商银行股份有限公司", "standard_name": "中国工商银行", "aliases": ["工商银行", "ICBC", "工行"], "entity_type": "bank", "standard_type": "bank", "normalized_attributes": { "full_name": "中国工商银行股份有限公司", "short_name": "工商银行", "english_name": "Industrial and Commercial Bank of China", "abbreviation": "ICBC", "stock_code": "601398" }, "confidence": 0.98, "match_method": "exact_match" }, { "entity_id": "ENT002", "original_name": "工商银行", "normalized_name": "中国工商银行股份有限公司", "standard_name": "中国工商银行", "aliases": ["工商银行", "ICBC", "工行"], "entity_type": "bank", "standard_type": "bank", "normalized_attributes": { "full_name": "中国工商银行股份有限公司", "short_name": "工商银行", "english_name": "Industrial and Commercial Bank of China", "abbreviation": "ICBC", "stock_code": "601398" }, "confidence": 0.95, "match_method": "alias_match" }, { "entity_id": "ENT003", "original_name": "ICBC", "normalized_name": "中国工商银行股份有限公司", "standard_name": "中国工商银行", "aliases": ["工商银行", "ICBC", "工行"], "entity_type": "bank", "standard_type": "bank", "normalized_attributes": { "full_name": "中国工商银行股份有限公司", "short_name": "工商银行", "english_name": "Industrial and Commercial Bank of China", "abbreviation": "ICBC", "stock_code": "601398" }, "confidence": 0.92, "match_method": "abbreviation_match" } ], "entity_mapping": { "ENT001": "NORM001", "ENT002": "NORM001", "ENT003": "NORM001" }, "statistics": { "input_count": 3, "normalized_count": 1, "merge_count": 2, "average_confidence": 0.95 } } ``` --- ## 注意事项与限制 ### 1. 数据质量要求 - 实体数据需要包含足够的上下文信息 - 实体名称需要清晰明确 - 实体类型需要准确 ### 2. 标准化准确性 - 标准实体名称标准化准确率较高 - 非标准实体名称可能需要人工处理 - 实体消歧可能需要额外信息 ### 3. 实体匹配 - 精确匹配准确率较高 - 模糊匹配可能需要人工复核 - 相似实体匹配可能产生误匹配 ### 4. 知识库依赖 - 标准化结果依赖知识库的完整性 - 知识库更新可能影响标准化结果 - 新实体可能需要人工处理 ### 5. 使用限制 - 本 Skill 不包含实体识别功能 - 标准化结果需要人工复核 - 复杂实体可能需要人工处理 --- ## 参考资料 - 见 references/ 目录中的相关文档，包括： - 实体标准化方法手册 - 实体匹配算法说明 - 实体消歧指南 - 性能优化指南