apply-inference-optimizations
Apply FlashDreams-style inference speedups to model integrations after a baseline exists: bounded windows and fixed K/V caches, cache/decode overlap, `torch.compile`, CUDA graph capture, attention backend checks, decoder layout or replacement, transfer/materialization changes, and ordered presentation tuning. Use when porting known optimizations into a runner, demo, serving adapter, or downstream integration while preserving quality and reset behavior.
معلومات المصدر
- المستودع
- NVIDIA/flashdreams
- آخر نشاط في المصدر
- ١٤ يوليو ٢٠٢٦ في ٢٢:٥١
- لغة SKILL.md المكتشفة
- الإنجليزية
- النجوم
- ٥٤٠
- التفرعات
- ٧١
خيارات التثبيت
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
مراجعة ملفات المصدر
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
عرض SKILL.md
| name | apply-inference-optimizations |
|---|---|
| description | Apply FlashDreams-style inference speedups to model integrations after a baseline exists: bounded windows and fixed K/V caches, cache/decode overlap, `torch.compile`, CUDA graph capture, attention backend checks, decoder layout or replacement, transfer/materialization changes, and ordered presentation tuning. Use when porting known optimizations into a runner, demo, serving adapter, or downstream integration while preserving quality and reset behavior. |