Skip to main content

apply-inference-optimizations

Apply FlashDreams-style inference speedups to model integrations after a baseline exists: bounded windows and fixed K/V caches, cache/decode overlap, `torch.compile`, CUDA graph capture, attention backend checks, decoder layout or replacement, transfer/materialization changes, and ordered presentation tuning. Use when porting known optimizations into a runner, demo, serving adapter, or downstream integration while preserving quality and reset behavior.

Informations de source

Dépôt
NVIDIA/flashdreams
Dernière activité de la source
14 juillet 2026 à 22:51
Langue détectée de SKILL.md
anglais
Étoiles
540
Forks
71

Options d'installation

Le prompt qui vérifie d'abord la source est sélectionné par défaut. Vous pouvez passer à une commande directe ou télécharger une copie locale.

Vérifiez les fichiers source

Lisez SKILL.md et les fichiers associés affichés par SkillsMP avant de décider de l'installer.

Affichage de SKILL.md

SKILL.md
Instructions source · Aperçu en lecture seule
nameapply-inference-optimizations
descriptionApply FlashDreams-style inference speedups to model integrations after a baseline exists: bounded windows and fixed K/V caches, cache/decode overlap, `torch.compile`, CUDA graph capture, attention backend checks, decoder layout or replacement, transfer/materialization changes, and ordered presentation tuning. Use when porting known optimizations into a runner, demo, serving adapter, or downstream integration while preserving quality and reset behavior.