hybrid-inference-optimization
Profile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts.
Informations de source
- Dépôt
- rcarmo/llama-cpp
- Dernière activité de la source
- 17 septembre 2026 à 16:56
- Langue détectée de SKILL.md
- anglais
- Étoiles
- 5
- Forks
- 1
Options d'installation
Le prompt qui vérifie d'abord la source est sélectionné par défaut. Vous pouvez passer à une commande directe ou télécharger une copie locale.
Vérifiez les fichiers source
Lisez SKILL.md et les fichiers associés affichés par SkillsMP avant de décider de l'installer.
Explorateur de fichiers
2 fichiersAffichage de SKILL.md
SKILL.md
Instructions source · Aperçu en lecture seule| name | hybrid-inference-optimization |
|---|---|
| description | Profile, fix and benchmark hybrid GPU-prefill and CPU/SIMD decoding, especially long-context KV handoff and coding/tool rounds. Use for backend kernels, batch/thread/MTP tuning, state-layout changes and performance qualification on shared-memory hosts. |
