hybrid-inference-optimization
Profile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts.
来源信息
- 仓库
- rcarmo/llama-cpp
- 最近来源活动
- 2026年9月17日 16:56
- 检测到的 SKILL.md 语言
- 英语
- 星标
- 5
- Forks
- 1
安装方式
默认使用会先检查来源的 Prompt;你也可以切换为直接命令,或下载本地副本。
检查来源文件
决定是否安装前,请先阅读 SKILL.md,以及 SkillsMP 当前展示的配套文件。
正在显示 SKILL.md
| name | hybrid-inference-optimization |
|---|---|
| description | Profile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts. |