Skip to main content

NVIDIA-NeMo/Megatron-Bridge

Dernière activité source enregistrée
Catalogue SkillsMP mis à jour
skills collectés
24
Étoiles GitHub
960
Forks GitHub
552

Installer avec un assistant IA

Copiez ce prompt dans l’assistant IA que vous utilisez.

Chargement du README du dépôt…

Skills dans ce dépôt

Affichage de 24 skills collectés sur 24.

métier
non classé
description

Create or update concise, agent-readable Megatron Bridge model verification cards. Use when adding a model support card, auditing cross-model convergence comparability or verification coverage, recording conversion, deterministic inference, training,…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Validate and use selective and full activation recompute in Megatron Bridge to reduce GPU memory usage at the cost of extra compute. Use for activation memory OOMs or regressions involving recompute_granularity, recompute_num_layers, recompute_modules,…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Practical guidance for training MoE VLMs in Megatron Bridge. Compares FSDP and 3D-parallel approaches, using rounded lessons from Qwen3-VL, Qwen3-Next, and other multimodal experiments.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Recommend and customize Megatron Bridge library and benchmark recipes for a user's model, GPU count, hardware, sequence length, and pretrain/SFT/PEFT goal. Use when selecting a starting recipe, comparing library and benchmark configs, resizing parallelism for…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Guide for adding support for new LLM or VLM models in Megatron-Bridge. Covers bridge, builder-backed model config, recipe, tests, docs, and examples.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Structured framework for exact HF↔MCore weight verification, forward-pass logit correlation, and optional strict numerical diagnostics. Use when debugging weight mismatches, verifying HF↔MCore checkpoint round-trips, choosing verification tools, or…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Run Megatron-LM (MLM) and Megatron Bridge training with mock or real data. Covers correlation testing, available recipes, and multi-GPU examples.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Operational guide for choosing and combining parallelism strategies in Megatron Bridge, including sizing rules, hardware topology mapping, and combined parallelism configuration.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Operational guide for sharding a VLM vision encoder across the language model's context-parallel ranks in Megatron-Bridge, including config knobs, code anchors, load-balance pitfalls, and measured impact.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Profile, validate, and use CUDA graph capture in Megatron Bridge, including local full-iteration graphs and Transformer Engine scoped graphs. Covers replay evidence, matched eager A/Bs, model-specific scopes, regressions, and failures.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Repository review rubric for the formal /review command.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Techniques for reducing peak GPU memory in Megatron Bridge, including expandable segments, PEFT plus sequence-parallel input re-gather, parallelism resizing, activation recompute, CPU offloading constraints, and common OOM fixes. Use for GPU OOMs, inadequate…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Select and validate an MoE token dispatcher (`alltoall`, DeepEP, or HybridEP) for a fixed workload and runtime. Covers backend availability, topology, matched A/B evidence, routing semantics, and failure diagnosis. Use when choosing a dispatcher or tracing a…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Evidence-gated workflow for MoE performance optimization in Megatron Bridge. Covers measurement contracts, the Three Walls framework, parallel folding, profiling, matched A/B tuning, and final validation. Use for full MoE throughput tuning or diagnosing a…

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

Structured single-agent code review workflow for PRs, commits, and local diffs. Use when asked to review code, understand a PR, rubber duck a change, prepare GitHub review comments, compare a change against Megatron Bridge conventions, or produce high-signal…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Analyze NVIDIA Nsight Systems `.nsys-rep` and exported `.sqlite` traces for Megatron Bridge training. Use for single-trace diagnosis, before/after comparisons, multi-rank surveys, slow-rank and pipeline-stage analysis, MFU or step-time investigations, GPU…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Analyze and compare PyTorch CUDA memory snapshots produced by Megatron Bridge's ProfilingConfig(record_memory_history=True). Replays the recorded allocation timeline to plot memory over time, compare two runs, and attribute peak memory to source code…

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

Testing reference for Megatron Bridge — unit and functional test layout, tier semantics (L0/L1/L2/flaky), script conventions, running tests locally, adding/moving/disabling tests, and pytest conventions.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Bump a pinned dependency (TransformerEngine, Megatron-LM, NRX, etc.), regenerate the lockfile, open a PR, and drive it to green by attaching a watchdog to the "CICD NeMo" workflow and quarantining failing functional tests as flaky until the run is green.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Dev environment setup for Megatron Bridge — container-based development, uv package management, lockfile regeneration, adding dependencies, Slurm container usage, and common build pitfalls.

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

CI/CD reference for Megatron Bridge — pipeline structure, commit and PR workflow, CI failure investigation, and common failure patterns.

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

External verl end-to-end validation workflow for Megatron-Bridge changes. Covers running a small verl Megatron backend job from a Bridge checkout, choosing LoRA/DDP plus optional save/resume and parallelism variants, setting PYTHONPATH so verl imports the…

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

External NeMo-RL end-to-end validation workflow for Megatron-Bridge model/provider changes, including downstream compatibility checks, external RL lifecycle behavior, Megatron policy setup, HF import/export, checkpoint/resume, non-colocated vLLM refit, delta…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Code style and quality rules for Megatron Bridge — ruff configuration, naming conventions, type hints, mypy rules, docstrings, copyright headers, logging, and the code review checklist.

Langue du texte source : anglais

mis à jour
Affichage de 24 skills collectés sur 24.