llm-tool-selection-framework

name	llm-tool-selection-framework
description	当需要为特定任务选择合适的大型语言模型或AI工具时

llm-tool-selection-framework

When to Use

当需要为特定任务选择合适的大型语言模型或AI工具时description

Core Logic

执行步骤

1. 定义任务需求与约束

   • 输入：任务描述（如：写作、编程、研究）、预算限制、对实时信息的需求、对输出格式/风格的要求。
   • 操作：将任务需求拆解为具体指标，包括：对知识新鲜度的要求、对复杂推理能力的需求、对上下文长度的需求、对成本敏感度。
   • 判断标准：生成一份清晰的需求清单，明确优先级（如：成本 > 性能 > 实时性）。
   • 输出：明确的任务需求清单与约束条件。

2. 评估基础模型能力

   • 输入：任务需求清单、主流LLM提供商列表（如：OpenAI, Anthropic, Google, Meta等）及其核心特性。
   • 操作：根据需求清单，对比各模型在以下维度的表现：
     • 知识新鲜度：检查模型的预训练数据截止日期，判断是否满足任务对近期信息的需求。
     • 推理能力：评估任务复杂度。IF 任务涉及复杂逻辑、多步骤问题解决或高质量创作，THEN 考虑启用具备“思维模式”的模型（如 ChatGPT o1, Claude Sonnet 3.7）。ELSE 使用标准模型。
     • 上下文窗口：估算任务需要处理的文本总量。IF 需要处理或记忆大量文本（如长文档分析、长对话），THEN 优先选择上下文窗口大的模型（如 Google Gemini）。ELSE 此维度权重降低。
     • 输出风格/调性：根据任务对语气、风格的要求（如：正式、创意、简洁），匹配模型后训练调整的特点（如：Anthropic Claude 擅长写作）。
   • 判断标准：筛选出1-3个在核心能力上匹配需求的基础模型候选。
   • 输出：基础模型候选短名单及选择理由。

3. 判断是否需要增强工具

   • 输入：任务需求清单、基础模型候选短名单。
   • 操作：检查需求中是否存在基础模型的固有局限。
     • IF 任务需要获取实时信息或最新数据，THEN 必须选择或结合具备联网搜索功能的工具（如 Perplexity, 带有搜索功能的ChatGPT）。
     • IF 任务需要进行深度、多源信息调研并追溯来源，THEN 优先考虑具备深度研究功能的工具（如 Perplexity DeepResearch）。
     • IF 以上需求均不存在，THEN 可跳过此步骤，直接进入步骤4。
   • 判断标准：明确是否需要以及需要何种增强工具来弥补基础模型短板。
   • 输出：增强工具需求结论（是/否）及具体工具类型。

4. 评估集成化（包装）应用

   • 输入：任务需求清单、增强工具需求结论。
   • 操作：判断是否存在高度专业化的工作流程。
     • IF 任务属于特定垂直领域（如：软件开发），且存在将该领域工具与AI深度集成的应用，THEN 评估此类“包装”应用（如：编程领域的Cursor）是否能显著提升效率。
     • IF 任务需要频繁在多个人工智能工具和常规工作软件间切换，THEN 评估一体化中心枢纽类应用（如：Kortex）的价值。
     • IF 任务通用性强，或垂直集成应用不成熟，THEN 优先选择基础模型+必要增强工具的组合。
   • 判断标准：确定最终解决方案形态：是使用基础/增强模型，还是采用特定集成应用。
   • 输出：最终的工具选型方案（具体模型/应用名称）及架构理由。

输出格式要求

提供一份结构化的选型建议报告，包含：

1. 核心任务与需求：重申任务目标与关键约束。
2. 推荐方案：明确指出推荐的模型或工具名称。
3. 关键理由：分点说明该方案如何满足步骤1中定义的各项需求（如：成本、能力、实时性等）。
4. 备选方案：提供1个备选方案，并简要说明其适用场景或与首选方案的差异。

Metadata

属性	值
领域	人工智能应用
类型	procedural (procedural)
置信度	90%
前置条件	已明确任务目标、预算约束和性能要求
来源	人工智能入门指南：2：人工智能模型与工具的基础