inference-serving

# 单实例推理配置 适用：模型已选定，需调整一个推理实例内的调度与内存管理。依据 `manuscripts/08-推理优化.md` 第 8.1—8.6 节。 1. 固定模型、精度、输入/输出分布、质量标准与硬件。测量 prefill、单步 decode、排队时间、KV 占用和每请求延迟分位数。 2. 先检查权重、最大并发 KV、工作区能否同时放下。批处理摊薄共享权重读取，却不能消除每条请求自己的状态读取；同时检查排队与长 prefill 对短请求的干扰。 3. 对分页、前缀共享或缓存，标出实际可共享的 token 范围、失效条件、分配与释放时机。上下文改写可能使后续前缀不能复用。 4. 对压缩、卸载和推测解码，计入额外搬移、草稿计算与验证。计算每轮耗时及平均被接受的输出 token 数，而非只比较理论生成倍数。 5. 在目标到达率下比较可容纳的并发、期限内完成率与每合格结果的 GPU 时间。 输出可行方案及其容量、TTFT、生成速率、尾延迟和成本。跨副本、prefill/decode 分离与共享状态问题转用 `distributed-inference`。