agentsop-cost-tiered-models

name	agentsop-cost-tiered-models
version	0.1.0
description	Split a multi-call LM workflow by cognitive load, not by accuracy: let one strong model make the few reasoning decisions and a cheap model do the many mechanical executions (Aider architect+editor, DSPy optimizer-LM vs task-LM, vLLM speculative draft+target, LangGraph supervisor+worker are the same shape). Use when designing or cost-optimizing a pipeline that calls an LM many times, when deciding which steps need a strong reasoner vs a cheap executor, or when adding an escalation valve for when the cheap tier degrades. Search keywords: reduce LLM cost, cheaper model, lower token cost, model cascade, route to cheap model, strong model plus cheap model, LLM cost optimization.
domain	cost-aware model/role splitting in multi-call LM workflows
dated	2026-05
audience	coder-agents and engineers designing multi-call LM pipelines
sources	["https://aider.chat/2024/09/26/architect.html","https://github.com/stanfordnlp/dspy/issues/1596","https://docs.vllm.ai/en/latest/features/speculative_decoding/","https://langchain-ai.github.io/langgraph/concepts/multi_agent/"]

Cost-aware Model/Role Split — "强推理者 + 廉价执行者"

一句话：一条多次调用 LM 的工作流里，少数调用需要推理，多数调用是机械执行。让一个强模型做决策，让一个便宜模型干活——按认知负荷拆分，不是按"哪个更准"拆分。

统一声明：Phase B 发现这个模式在 4 个 SOP 里以 4 个名字反复出现——DSPy 的 optimizer-LM vs task-LM、Aider 的 architect+editor、vLLM 的 speculative draft+target、LangGraph 的 supervisor+worker。它们是同一个形状。本技能把这个形状抽出来，命名为 cost-tiered models。详见 §7 跨框架对照。

---

1. 何时激活 (When to activate)

任一情形成立时激活本技能：

• 工作流会对 LM 发起多次调用，且这些调用认知负荷不均——有的需要规划/推理/判断，有的只是改写、抽取、格式化、应用一个已定好的决定。
• 你正在为一条 LM 流水线选模型，并且默认想"全程用同一个最强模型"——这是本技能要挑战的反射。
• 你有一个强 reasoner 但执行差的模型（典型：o1/o3 推理强但编辑代码格式脏），需要给它配一个干净的执行者。
• 你在成本/延迟压力下，想知道哪些调用可以降级到便宜模型而不掉质量。
• 你在设计 agent 编排（supervisor 路由 + worker 执行），或 推理加速（speculative draft + target verify），意识到这和上面是同一个决策。

不应激活（见 §6）：

• 单次调用、无内部步骤的工作流——没有可拆分的角色。
• 微型工作流（2–3 次调用、总成本可忽略）——拆分的协调开销 > 节省。
• 质量是唯一目标、成本无关紧要的场景——直接全程用最强模型。

---

2. 核心心智模型 (Core Mental Model)

按认知负荷拆分：一个强模型做决策，一个便宜模型执行——而且绝大多数调用是执行。

2.1 两层，不是一层

绝大多数团队的默认是"全程一个模型"。这把两种本质不同的工作混在了一个价位上：

层	工作性质	调用频率	模型要求	选谁
Tier-S（决策层）	规划、推理、路由、判断、提案	少（每任务 1–N 次）	推理强；执行干不干净不重要	最强 reasoner
Tier-E（执行层）	改写、抽取、格式化、应用决定、生成草稿	多（占总调用 80%+）	听话、格式干净、便宜、快	便宜/快模型

关键洞察：成本由调用次数主导，调用次数由执行层主导。所以把执行层降级到便宜模型，省下大部分成本，却几乎不碰决策质量——因为决策层调用次数少，仍然用最强模型。

2.2 为什么"强 reasoner 执行差"是常态而非例外

推理能力和指令依从（产出干净的 diff/JSON/格式）是两种不同的能力，不总同向。Aider 的 Polyglot 数据是最干净的证据：o1-preview 单独跑 79.7%，但它当 architect 配一个便宜 editor 后，整体到 82.7%–85%——两次便宜的专门调用胜过一次又贵又全能的调用 [aider.chat/2024/09/26/architect.html]。强模型负责"想"，便宜模型负责"把想法落成格式正确的编辑"。

2.3 三种省钱方向，同一个形状

• 省钱：执行层从 GPT-4o 降到 mini/Llama，决策层不动。
• 提质：把"想"和"做"解耦，强模型不再被格式约束分心（JSON-wrapping 实测会降低模型推理能力 [aider.chat/2024/08/14]）。