Skip to main content

NVIDIA/TensorRT-Edge-LLM

Última atividade de origem registrada
Catálogo do SkillsMP atualizado
skills coletadas
15
Estrelas no GitHub
631
Forks no GitHub
153

Instalar com um assistente de IA

Copie este prompt para o assistente de IA que você usa.

Carregando o README do repositório…

Skills neste repositório

classificação pendente

Mostrando 15 de 15 skills coletadas.

ocupação
sem classificação
descrição

Localize a TensorRT Edge-LLM accuracy mismatch against the model provider's PyTorch reference after few-layer validation identifies a failing component or layer.

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Implement TensorRT Edge-LLM support for a new Hugging Face checkpoint or model family. Use for a new `model_type`, architecture, text/vision/audio/action component, checkpoint tensor layout, speculative draft, model-specific custom operation, or runtime…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Measure dataset accuracy (MMLU and other NeMo Evaluator benchmarks) of a TensorRT Edge-LLM deployment through its OpenAI-compatible chat endpoint with NeMo Evaluator. Use for "benchmark accuracy", "run MMLU/GSM8K/IFEval on this checkpoint", comparing a…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Benchmark TensorRT Edge-LLM serving performance (TTFT, inter-token latency, request latency, output throughput, concurrency scaling) through the OpenAI-compatible server with AIPerf. Use for "benchmark performance", "measure TTFT/ITL/tokens per second",…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Convert and run one supported Hugging Face checkpoint with TensorRT Edge-LLM. Use for quantization, checkpoint-to-ONNX export, `llm_build`/`visual_build`/`audio_build`, C++ `llm_inference`, the experimental checkpoint-direct `trtedge build`, engine profile…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Write or change a C++ test under unittests/. Covers the BDD comment contract, mutation testing, and the substitute engines that drive LLMInferenceRuntime without a serialized engine. Apply whenever adding, migrating, or repairing a GTest case in this…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Add or change a TensorRT Edge-LLM CuTe DSL kernel end to end, from the Python kernel source through the KERNEL_VARIANTS registry in kernelSrcs/build_cutedsl.py, GPU-free AOT artifact generation (native or AArch64 cross build), the metadata-driven…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Write, edit, or review TensorRT Edge-LLM documentation using the Google developer documentation style guide. Apply to READMEs, tutorials, how-to guides, conceptual and design documents, API and CLI references, and release notes; not ordinary code changes or…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Write, select, run, and verify TensorRT Edge-LLM end-to-end model tests. Use when adding or changing a model case, running one model deployment instead of an entire CI job, interpreting model accuracy or baseline failures, or selecting sufficient tests for…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

List the supported combinations a change reaches and verify them before the change is submitted. Use before coding a change to quantization or checkpoint parsing, checkpoint loading, the lm_head, KV cache, a speculative decoding method or draft, shared linear…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Add or repair a few-layer numeric validation case, which compares the first N decoder layers of a checkpoint against a PyTorch golden. Covers when a change needs one, choosing the checkpoint, setting a cosine gate that is measured rather than tuned, and…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Select, install, verify, update, or remove TensorRT Edge-LLM, and install this repository's agent skills into Claude Code or Codex. Inspects revision, CPU architecture, GPU or SoC, JetPack/DriveOS, CUDA, TensorRT, and Python, rejects unsupported combinations…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Add or change a TensorRT Edge-LLM operation (TensorRT IPluginV3 plugin, native TensorRT layer composition, or runtime-only operation) so one tensor, dtype, shape, layout, serialization, and weight-layout contract holds across the ONNX export route, the…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Launch and verify TensorRT Edge-LLM's experimental OpenAI-compatible server for one Hugging Face checkpoint or local checkpoint. Use for `trtedge serve`, OpenAI API requests, server sizing, streaming, tools, media, batching, speculative decoding, or a server…

Idioma do texto original: inglês

atualizado
ocupação
sem classificação
descrição

Migrate an existing TensorRT Edge-LLM deployment, integration, or downstream patch between releases, branches, TensorRT/CUDA/JetPack/DriveOS stacks, or checkpoint-family versions; also backport fixes to a release branch. Use when commands, package extras,…

Idioma do texto original: inglês

atualizado
Mostrando 15 de 15 skills coletadas.