Skip to main content

accelerator-selection

为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。

Informations de source

Dépôt
bojieli/ai-infra-book
Dernière activité de la source
1 octobre 2026 à 08:19
Langue détectée de SKILL.md
chinois
Étoiles
6 225
Forks
468

Options d'installation

Le prompt qui vérifie d'abord la source est sélectionné par défaut. Vous pouvez passer à une commande directe ou télécharger une copie locale.

Vérifiez les fichiers source

Lisez SKILL.md et les fichiers associés affichés par SkillsMP avant de décider de l'installer.

Affichage de SKILL.md

SKILL.md
Instructions source · Aperçu en lecture seule
name
accelerator-selection
description
为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
# 加速器选型 适用:模型与负载已明确,需要判断哪类设备能在期限和预算内完成任务。依据 `manuscripts/04-加速器架构.md` 第 4.1—4.8 节。 1. 用模型的权重、KV、激活及工作区过滤容量不可行的候选,并注明精度与显存保留量。 2. 对每个候选分别计算计算下界、各级存储搬移下界、主机与加速器传输开销;结合矩阵形状与精度说明标称算力是否可达到。 3. 记录可持续功率、能耗与设备价格。吞吐、单请求延迟、每合格任务成本是不同目标,不用单一 FLOPS/$ 排名替代。 4. 用相同模型、输入、批量与测试边界测量 kernel 和完整任务;观察内存访问计数、实际带宽、利用率和降频。将预测和实测差距分配到可解释的阶段。 给出“可行性 → 性能下界 → 实测 → 能耗/成本”的比较表,并指出决定选择的约束。没有同口径的实测时,结论标为预测;单卡选型之外的通信代价转用 `parallelism-planning`。
Voir sur GitHub