Skip to main content

model-toolkit-exl3-quantization

Convert supported HF checkpoints with ExLlamaV3.

Informations de source

Dépôt
0xSero/model-toolkit
Dernière activité de la source
10 septembre 2026 à 09:13
Langue détectée de SKILL.md
anglais
Étoiles
4
Forks
1

Options d'installation

Le prompt qui vérifie d'abord la source est sélectionné par défaut. Vous pouvez passer à une commande directe ou télécharger une copie locale.

Vérifiez les fichiers source

Lisez SKILL.md et les fichiers associés affichés par SkillsMP avant de décider de l'installer.

Explorateur de fichiers
6 fichiers

Affichage de SKILL.md

SKILL.md
Instructions source · Aperçu en lecture seule
name
model-toolkit-exl3-quantization
description
Convert supported HF checkpoints with ExLlamaV3.
# exl3-quantization Use this tool when the user asks to convert supported HF checkpoints with ExLlamaV3. 1. Read this folder's [README](README.md) for prerequisites, supported inputs, commands, outputs and limits. 2. Resolve paths relative to the toolkit checkout. Run `python exl3-quantization/run.py --help` from its root. 3. Use explicit model/runtime/dataset identities, unique output paths, and environment variables for credentials. 4. For external GPU/container work, preview the command where `--dry-run` is supported and run the smallest useful smoke first. 5. Preserve request failures and raw evidence. State whether the result is a smoke, incomplete run, or complete evaluation. 6. A configuration, checksum, or startup pass does not establish model quality. Follow the README's downstream checks. Run this script from the user's installed environment; do not assume access to the original author's machines. This skill contains no background scheduling or automatic publishing instructions.
Voir sur GitHub