Skip to main content

model-toolkit-lm-evaluation

Task-based reasoning/knowledge evaluation through lm-eval.

Quellinformationen

Repository
0xSero/model-toolkit
Letzte Quellaktivität
10. September 2026 um 09:13
Erkannte Sprache von SKILL.md
Englisch
Sterne
4
Forks
1

Installationsoptionen

Standardmäßig ist der Prompt ausgewählt, der zuerst die Quelle prüft. Sie können zu einem direkten Befehl wechseln oder eine lokale Kopie herunterladen.

Quelldateien prüfen

Lesen Sie SKILL.md und alle von SkillsMP angezeigten Begleitdateien, bevor Sie sich für eine Installation entscheiden.

Datei-Explorer
3 Dateien

SKILL.md wird angezeigt

SKILL.md
Quellanweisungen · Schreibgeschützte Vorschau
name
model-toolkit-lm-evaluation
description
Task-based reasoning/knowledge evaluation through lm-eval.
# lm-evaluation Use this tool when the user asks to task-based reasoning/knowledge evaluation through lm-eval. 1. Read this folder's [README](README.md) for prerequisites, supported inputs, commands, outputs and limits. 2. Resolve paths relative to the toolkit checkout. Run `python lm-evaluation/run.py --help` from its root. 3. Use explicit model/runtime/dataset identities, unique output paths, and environment variables for credentials. 4. For external GPU/container work, preview the command where `--dry-run` is supported and run the smallest useful smoke first. 5. Preserve request failures and raw evidence. State whether the result is a smoke, incomplete run, or complete evaluation. 6. A configuration, checksum, or startup pass does not establish model quality. Follow the README's downstream checks. Run this script from the user's installed environment; do not assume access to the original author's machines. This skill contains no background scheduling or automatic publishing instructions.
Auf GitHub ansehen