Skip to main content

hybrid-inference-optimization

Profile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts.

来源信息

仓库
rcarmo/llama-cpp
最近来源活动
2026年9月17日 16:56
检测到的 SKILL.md 语言
英语
星标
5
Forks
1

安装方式

默认使用会先检查来源的 Prompt;你也可以切换为直接命令,或下载本地副本。

检查来源文件

决定是否安装前,请先阅读 SKILL.md,以及 SkillsMP 当前展示的配套文件。

文件资源管理器
2 个文件

正在显示 SKILL.md

SKILL.md
来源说明 · 只读预览
namehybrid-inference-optimization
descriptionProfile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts.