Auto-collect workloads from SGLang inference runs using FlashInfer logging API. Dumps tensors, sanitizes them according to kernel definitions, and submits PR to flashinfer-trace workload repo.
Langue du texte source : anglais
Menu
SkillsMP a collecté 9 skills depuis flashinfer-ai/flashinfer-bench. Ouvrez un skill pour examiner sa source et ses détails.
Copiez ce prompt dans l’assistant IA que vous utilisez.
Aidez-moi à installer des Agent Skills depuis ce dépôt : https://github.com/flashinfer-ai/flashinfer-bench
Examinez d’abord la source, les fichiers SKILL.md et les fichiers associés. Listez les Skills disponibles pour que je puisse choisir. Installez ensuite les dossiers complets des Skills choisis dans le projet actuel et vérifiez que les fichiers nécessaires sont présents.Affichage de 9 skills collectés sur 9.
Auto-collect workloads from SGLang inference runs using FlashInfer logging API. Dumps tensors, sanitizes them according to kernel definitions, and submits PR to flashinfer-trace workload repo.
Langue du texte source : anglais
Discover candidate LLMs and produce a kernel inventory — required definitions, classified as existing/new and fi_supported/fi_missing — for onboarding. Use as Phase 1 of /onboard-model, or standalone to plan onboarding work.
Langue du texte source : anglais
Generate Definition JSON files for the flashinfer-trace HuggingFace dataset by harvesting them from a short SGLang inference pass (FlashInfer's @flashinfer_api(trace=...) dumper) — or, as a fallback, by manually transcribing the schema from SGLang sources…
Langue du texte source : anglais
End-to-end pipeline for discovering new LLMs with novel kernels and onboarding them into FlashInfer-Bench. Orchestrates repo updates, model discovery, kernel definition generation, workload collection, and PR submission.
Langue du texte source : anglais
Add pytest tests to validate reference implementations in the flashinfer-trace HuggingFace dataset against FlashInfer or SGLang ground truth. Use when validating kernel definitions, adding tests for new op_types, or verifying reference implementations are…
Langue du texte source : anglais
Clone SGLang, FlashInfer, sgl-cookbook, and flashinfer-trace repositories to tmp/. Use when setting up the project, preparing for kernel extraction, or when the user needs the source repositories.
Langue du texte source : anglais
Open the per-definition pair of PRs that publishes a model onboarding — PR 2 to the HuggingFace flashinfer-trace dataset (definition + reference test + baseline solution + workloads + blobs + eval traces) and PR 1 to flashinfer-bench (docs/model_coverage.mdx…
Langue du texte source : anglais
Track popular/new open-source LLMs and update docs/model_coverage.mdx with their kernel support status. Use when discovering new models to add to the coverage tracker, checking if a specific model is covered, or refreshing model coverage documentation.
Langue du texte source : anglais
Validate the correctness and completeness of a FlashInfer Trace dataset. Use when checking dataset quality, verifying definitions/workloads/solutions/traces, debugging data issues, or preparing a dataset for release.
Langue du texte source : anglais