Skip to main content

NVIDIA/TensorRT-Edge-LLM

آخر نشاط مصدر مسجل
آخر تحديث لفهرس SkillsMP
skills مجمعة
١٥
نجوم GitHub
٦٣١
تفرعات GitHub
١٥٣

التثبيت بمساعدة مساعد ذكي

انسخ هذا الطلب إلى المساعد الذكي الذي تستخدمه.

جارٍ تحميل ملف README للمستودع…

Skills في هذا المستودع

التصنيف قيد الانتظار

عرض ١٥ من أصل ١٥ skills مجمعة.

المهنة
غير مصنف
الوصف

Localize a TensorRT Edge-LLM accuracy mismatch against the model provider's PyTorch reference after few-layer validation identifies a failing component or layer.

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Implement TensorRT Edge-LLM support for a new Hugging Face checkpoint or model family. Use for a new `model_type`, architecture, text/vision/audio/action component, checkpoint tensor layout, speculative draft, model-specific custom operation, or runtime…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Measure dataset accuracy (MMLU and other NeMo Evaluator benchmarks) of a TensorRT Edge-LLM deployment through its OpenAI-compatible chat endpoint with NeMo Evaluator. Use for "benchmark accuracy", "run MMLU/GSM8K/IFEval on this checkpoint", comparing a…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Benchmark TensorRT Edge-LLM serving performance (TTFT, inter-token latency, request latency, output throughput, concurrency scaling) through the OpenAI-compatible server with AIPerf. Use for "benchmark performance", "measure TTFT/ITL/tokens per second",…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Convert and run one supported Hugging Face checkpoint with TensorRT Edge-LLM. Use for quantization, checkpoint-to-ONNX export, `llm_build`/`visual_build`/`audio_build`, C++ `llm_inference`, the experimental checkpoint-direct `trtedge build`, engine profile…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Write or change a C++ test under unittests/. Covers the BDD comment contract, mutation testing, and the substitute engines that drive LLMInferenceRuntime without a serialized engine. Apply whenever adding, migrating, or repairing a GTest case in this…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Add or change a TensorRT Edge-LLM CuTe DSL kernel end to end, from the Python kernel source through the KERNEL_VARIANTS registry in kernelSrcs/build_cutedsl.py, GPU-free AOT artifact generation (native or AArch64 cross build), the metadata-driven…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Write, edit, or review TensorRT Edge-LLM documentation using the Google developer documentation style guide. Apply to READMEs, tutorials, how-to guides, conceptual and design documents, API and CLI references, and release notes; not ordinary code changes or…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Write, select, run, and verify TensorRT Edge-LLM end-to-end model tests. Use when adding or changing a model case, running one model deployment instead of an entire CI job, interpreting model accuracy or baseline failures, or selecting sufficient tests for…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

List the supported combinations a change reaches and verify them before the change is submitted. Use before coding a change to quantization or checkpoint parsing, checkpoint loading, the lm_head, KV cache, a speculative decoding method or draft, shared linear…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Add or repair a few-layer numeric validation case, which compares the first N decoder layers of a checkpoint against a PyTorch golden. Covers when a change needs one, choosing the checkpoint, setting a cosine gate that is measured rather than tuned, and…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Select, install, verify, update, or remove TensorRT Edge-LLM, and install this repository's agent skills into Claude Code or Codex. Inspects revision, CPU architecture, GPU or SoC, JetPack/DriveOS, CUDA, TensorRT, and Python, rejects unsupported combinations…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Add or change a TensorRT Edge-LLM operation (TensorRT IPluginV3 plugin, native TensorRT layer composition, or runtime-only operation) so one tensor, dtype, shape, layout, serialization, and weight-layout contract holds across the ONNX export route, the…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Launch and verify TensorRT Edge-LLM's experimental OpenAI-compatible server for one Hugging Face checkpoint or local checkpoint. Use for `trtedge serve`, OpenAI API requests, server sizing, streaming, tools, media, batching, speculative decoding, or a server…

لغة النص الأصلي: الإنجليزية

آخر تحديث
المهنة
غير مصنف
الوصف

Migrate an existing TensorRT Edge-LLM deployment, integration, or downstream patch between releases, branches, TensorRT/CUDA/JetPack/DriveOS stacks, or checkpoint-family versions; also backport fixes to a release branch. Use when commands, package extras,…

لغة النص الأصلي: الإنجليزية

آخر تحديث
عرض ١٥ من أصل ١٥ skills مجمعة.