bojieli/ai-infra-book

accelerator-selection

为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。

Source text: Chinese

agent-runtime-capacity

规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。

Source text: Chinese

cluster-network-analysis

估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。

Source text: Chinese

distributed-inference

比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。

Source text: Chinese

edge-cloud-placement

比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。

Source text: Chinese

inference-serving

为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。

Source text: Chinese

kernel-runtime-analysis

诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。

Source text: Chinese

model-footprint

比较模型配置或架构改变对权重容量、KV 状态、前向计算和访存的影响。用于选模型、上下文或注意力与 MoE 方案。

Source text: Chinese

parallelism-planning

比较数据、张量、序列、上下文、流水和专家并行的容量与通信代价。用于决定多卡切分和超节点规模。

Source text: Chinese

resource-budget

估算一次模型执行能否放入给定硬件，并定位计算、访存和串行等待的下界。用于粗估容量、时延或优化收益；具体模型结构另用 model-footprint。

Source text: Chinese

training-system-planning

估算训练或 RL 作业的显存、步时、checkpoint、故障重做和完成期限。用于比较分片、重计算、卸载与集群规模。

Source text: Chinese

workload-modeling

把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。用于估算峰值、状态驻留和完成任务的真实成本。

Source text: Chinese