Skip to main content

BBuf/AI-Infra-Auto-Driven-SKILLS

جمع SkillsMP عدد ١٢ من skills من BBuf/AI-Infra-Auto-Driven-SKILLS. افتح أي skill لمراجعة مصدره وتفاصيله.

آخر نشاط مصدر مسجل
آخر تحديث لفهرس SkillsMP
skills مجمعة
١٢
نجوم GitHub
٧٧٥
تفرعات GitHub
٦٧

Skills في هذا المستودع

١ فئات مهنية · 8% مصنفة

عرض ١٢ من أصل ١٢ skills مجمعة.

المهنة
غير مصنف
الوصف

Use when an SGLang, vLLM, TensorRT-LLM, or TokenSpeed serving/model optimization task needs prior model-family PR evidence. Query and read the PR-driven history docs under model-pr-optimization-history before choosing source paths, fast paths, kernel/fusion…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Inspect LLM torch profiler traces at forward-pass, layer, and kernel level. Use when you need layer timings, anchor-kernel boundaries, representative kernel flows, or Perfetto time ranges.

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Framework-independent LLM serving benchmark skill for comparing SGLang, vLLM, TensorRT-LLM, TokenSpeed, or another serving framework. Use when a user wants to find the best deployment command for one model across multiple serving frameworks under the same…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Parse SGLang/vLLM startup logs to explain GPU memory use and request capacity. Use for KV cache budget, mem-fraction-static comparisons, OOM triage, and max-concurrency estimates.

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Unified LLM torch-profiler triage skill for `sglang`, `vllm`, `TensorRT-LLM`, and `TokenSpeed`. Use it to inspect an existing `trace.json(.gz)` or profile directory, or to drive live profiling against a running server when supported and return one three-table…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Return public original model architecture diagrams for user-specified LLM, VLM, MoE, diffusion, OCR, and SGLang/sgl-cookbook model families. Use when the user asks for a model structure chart, architecture diagram, or rendered image link for a specific model…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Build an operator-level compute template for an LLM and estimate FLOPs/MFU for a serving shape. Use when you need tensor shapes, per-op FLOPs, kernel-to-op MFU mapping, or parallelism what-if analysis.

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
مطوّرو البرمجيات
الوصف

Build or audit an evidence-driven SGLang Day-0 support program for a new LLM, VLM, MoE, hybrid-attention, or speculative-decoding model. Use when Codex needs to map a model architecture into SGLang runtime work, design a public support PR DAG, create…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Perform SGLang code review in the style of human maintainers by consulting the full non-agent PR review episode corpus from project start through 2026-07-27, including inline review threads, top-level PR comments, review submissions, original multilingual…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Replay-first debug flow for SGLang serving problems. Use when a live or recent server shows health-check failures, latency or throughput regressions, queue growth, timeouts, distributed stalls, crash dumps, wrong outputs after deploys, or PD/EP/HiCache…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Run an autonomous Humanize-governed SGLang SOTA performance loop for one LLM model: first perform a fixed fair SGLang benchmark against the requested comparison framework set, then start one RLCR loop that repeatedly decides the gap, profiles the current…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Run an autonomous Humanize-governed vLLM SOTA performance loop for one LLM model: first perform the fixed fair vLLM/SGLang/TensorRT-LLM deployment search and benchmark, then start one RLCR loop that repeatedly decides the gap, profiles the current bottleneck,…

لغة النص الأصلي: الإنجليزية

آخر تحديث
عرض ١٢ من أصل ١٢ skills مجمعة.