一键在 Manus 中运行任何 Skill

gpu-incident-triage

星标0

分支0

更新时间2026年7月23日 03:12

Triage a GPU HARDWARE incident on a K8s GPU node (Xid errors, NVLink faults, UnexpectedAdmissionError, allocatable drop, GPU fell off the bus): collect a deterministic evidence bundle (kernel NVRM/Xid via node debug pod, device-plugin and DCGM logs, driver-pod nvidia-smi, node state, admission events, GPU pod timeline), apply safe first-response (cordon), upload the bundle to Google Drive, and post a detailed issue to Slack #problem-of-thakicloud via qa-issue-dedup-poster with thread follow-ups. Use when "GPU 장애", "Xid 에러", "NVLink 오류", "GPU가 안 잡혀요", "UnexpectedAdmissionError", "allocatable 줄었다", "GPU requires reset", "노드 GPU 죽음", "gpu incident", "hardware fault triage". Do NOT use for GPU utilization/capacity questions (use h200-gpu-usage-inspector), app-level demo QA (use ai-platform-autoqa / demo-* RCA skills), or GPU purchase planning (use gpu-capacity-procurement-planner).

安装

用 Codex 或 Claude 帮你安装复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。

在 Manus 中运行

来源

sylvanus4

sylvanus4/github-to-notion-sync

打开 GitHub 仓库查看创作者相关仓库

下载

在 Manus 中运行

GPU Incident Triage (하드웨어 사고 초동 대응)

2026-07-23 gpu-003 사고(Xid 74 NVLink fatal 3-GPU 동시 → Xid 79 bus 이탈 → 전 GPU ERR!)에서 검증된 절차를 스킬화. 수집·렌더는 코드 소유([[sonnet-format-determinism]]), 게시는 승인 게이트, 파괴적 조치(리부트·타 팀 포드 drain)는 하지 않는다 — 증거를 만들어 관리자에게 넘긴다.

절차 (순서 고정)

1. 수집 (결정론 수집기 — 무변경 read-only)

bash scripts/skills/gpu_incident_collect.sh <kube-context> <node> [tag]
# 예: bash scripts/skills/gpu_incident_collect.sh tkai-prod-compute-h200 tk-ai-wkld-wk-gpu-003 xid79

산출: outputs/incidents/<date>-<node>-<tag>/ + zip. 포함: 커널 NVRM/Xid(journalctl, debug pod), device-plugin/DCGM 로그, driver-pod nvidia-smi(-q 포함), node describe/yaml, admission 이벤트, GPU 포드 타임라인. INCIDENT-SUMMARY.md를 손으로 추가(타임라인·판정·조치 이력 — 아래 4의 내용).

핵심 판독법:

Xid 79 = GPU fell off the bus (PCIe) — 개별 리셋 거의 불가, 리부트 표준.
Xid 74 = NVLink fatal. 여러 GPU·여러 링크 동시면 카드 불량이 아니라 브리지/패브릭 이벤트.
device-plugin의 XidCriticalError ... marking device as unhealthy → allocatable 강등의 직접 원인.
nvidia-smi에서 Unable to determine the device handle / ERR! / 프로세스 없는 메모리 좌초 확인.
사고 시각 전후 GPU 포드 타임라인으로 누가 그 시간대에 썼는지 정직하게 기록(상관≠인과 명시).

2. 안전 초동 조치 (가역만)

kubectl --context <ctx> cordon <node>   # 신규 유입 차단. 복구 후 uncordon

⛔ 타 팀 Running 포드 drain 금지(협의 사항으로 이슈에 기재). ⛔ 노드 리부트 직접 수행 금지(관리자).
GPU 리셋은 시도 자체가 증거: NVLink 도메인은 페어 전체 리셋 요구 + off-bus GPU는 핸들 없음 → 거부 메시지를 번들에 남기고 "리부트 필요"의 근거로 쓴다.

3. Drive 업로드 (열람 공개)

gws drive +upload "<abs>/<bundle>.zip" --format json   # → file id (stdout 첫 '{'부터 파싱)
gws drive permissions create --params '{"fileId":"<FID>"}' --json '{"role":"reader","type":"anyone"}'
# 링크: https://drive.google.com/file/d/<FID>/view

4. Slack 게시 (qa-issue-dedup-poster 경유 — 채널 오버라이드)

Skill: qa-issue-dedup-poster 워크플로를 따르되 --channel C0A9AUPQ62X(#problem-of-thakicloud): sync → dedup → post.py 렌더(존댓말 합니다체, 확정/[추정] 구분, 테마 불릿) → --post.

--domain 인프라(박윤재 자동 태그) + 하드웨어 담당 --assignee(예: 김종원 U0A6KDMSTB5).
스레드 2건 필수: (1) Drive 번들 링크 + 핵심 요약(Xid 타임라인·현 상태·번들 구성), (2) 조치 상황(수집/cordon/리셋 불가 근거/diag 보류 — 각 완료·불가·보류 명시).
게시는 사용자 승인 필수(Safety Gates). 렌더 드라이런을 먼저 보여준다.

5. 마무리

큐/노트에 사고 기록([[aps-failure-archaeology]] 인덱스 대상). 복구 확인 후 uncordon + 스레드에 종결 코멘트.
리부트 후 권장: dcgmi diag -r 3, Xid 74 재발 시 NVLink 브리지 리시트/케이블 → RMA 경로.

gotchas (2026-07-23 실사고에서)

busybox dmesg는 권한 없음 → chroot /host journalctl -k 가 정답 (--profile=sysadmin 필수).
호스트 PATH에 nvidia-smi 없을 수 있음(/run/nvidia/driver/usr/bin/) → driver daemonset 포드 exec가 안정.
UnexpectedAdmissionError 크래시루프는 Deployment가 실패 포드를 수백 개 양산한다 → 원인 워크로드가 우리 것이면 deployment 즉시 삭제 + delete pods --field-selector=status.phase=Failed.
사고 노드의 k8s상 Running 포드도 GPU 레벨에선 죽어 있을 수 있다(프로세스 없는 메모리 좌초) — "Running이니 괜찮다"고 판단 금지, nvidia-smi가 정본.
Slack user 토큰은 users.list/conversations.list 스코프가 없다 → 채널/유저 ID는 MCP slack_search_channels/slack_search_users로 조회.

同仓库更多 Skills

同仓库

metis-catalog-ingest

sylvanus4/github-to-notion-sync

Stage a HuggingFace (or S3) MODEL or training DATASET into the demo Metis catalog so its weights/files land in SeaweedFS in the platform's standard, reusable format — the same store the built-in models (57) and datasets (56) use, and the fast path (stages even 122B models). Use this instead of hand-downloading (cluster→HF egress is ~0.7–3MB/s and ephemeral downloads are not reusable). Models: any type (LLM/VL/ diffusion). Datasets: HF source OR custom file upload. Auth = scripts/demo/demo_api.py cookie login. Use when "모델/데이터셋 스테이징", "HF 모델·데이터 등록", "카탈로그에 추가", "모델/데이터 인제스트", "SeaweedFS에 올려줘", "학습 데이터 추가", "register or stage a HF model/dataset on Metis", "add model or dataset to catalog", "ingest weights or training data". Do NOT use to serve/deploy a model (image → metis-image-gen-serving; LLM fine-tune/serve → metis-finetune-eval) or for IAM/access (metis-iam-access-grant).

2026-07-230

animated-architecture-diagram

sylvanus4/github-to-notion-sync

Generate a self-contained HTML architecture diagram in the HuggingFace research-article style: D3-driven flow-dot animation along edges, hover-to-trace + tooltips, data(solid)/event(dashed) dual-channel edges, light/dark theme, a11y (aria + prefers-reduced-motion + replay + scroll-autoplay). The model authors a JSON spec (nodes/edges/seq); a committed renderer owns the D3/CSS. Use when the user wants an ANIMATED or interactive architecture/pipeline/data-flow diagram, a "gif-like" flowing-data figure, an HF/distill-style embed, "애니메이션 아키텍처 다이어그램", "데이터 흐름 애니메이션", "인터랙티브 도식", "허깅페이스 스타일 도식", "블로그용 아키텍처 gif". Do NOT use for a static diagram (use architecture-diagram), Mermaid rendering (use mermaid-render), or a rendered MP4 motion-graphics video (use manim-video / hyperframes / remotion-motion-forge). For a simple flowchart use flowchart.

2026-07-230

b200-exp-host

sylvanus4/github-to-notion-sync

Connect to and operate the hyojung-2gpu B200 experiment host (2x NVIDIA B200, 10.7.60.194) over SSH for GPU inference/serving experiments. Use when the user says "B200 접속", "B200 서버에서", "hyojung-2gpu", "실험 서버 접속", "B200 호스트에 명령", "ssh into the B200 box", "run on the B200 host", "GPU 서버에서 vllm 돌려", or wants to run/inspect anything on that bare-metal 2-GPU box. Provides a thin SSH wrapper (scripts/b200.sh) reading credentials from a repo-EXTERNAL env file. Do NOT use for the H200 K8s demo cluster (use h200-gpu-usage-inspector), the SKT B200 fleet lifecycle (use gpu-lifecycle-manager), or GPU hardware health grading (use gpu-health-report). For the vLLM P/D disaggregation experiment WORKFLOW that runs on this host, use vllm-pd-disagg-benchmark (it calls this skill to connect).

2026-07-230

humanizer

sylvanus4/github-to-notion-sync

Remove signs of AI-generated writing from text and rewrite it to sound natural and human. Instructions are in English; OUTPUT stays in the input language (Korean by default for this repo). Based on Wikipedia's "Signs of AI writing" (33 patterns) plus a Korean-specific AI-tell layer (번역투, 과잉 의미부여, 3단 나열, 이중피동, AI 빈출 어휘, 쉼표 남용, 한국어 상투어). Use when editing/reviewing generated copy before publishing — reports, threads, Notion articles, decks, emails. Triggers: "AI 흔적 제거", "사람 글처럼", "휴머나이즈", "AI 티 빼줘", "humanize", "de-slop", "remove AI writing". Do NOT use for Chinese text (use humanizer-zh) or for honorific/格式 tone fixes alone (use korean-tone-reviewer — chain after this).

2026-07-230

jarvis

sylvanus4/github-to-notion-sync

Meta-orchestrator that decomposes user goals into agent execution plans with model routing and dependency ordering, optionally pursuing them via Goal Mode with pursuing/paused/achieved/unmet/budget-limited lifecycle states. Maintains a persistent TODO backlog under state/todos/. Pipeline Mode auto-triggers for registered pipelines (report, persona, deep-research, research-report) and executes immediately. Use when: "jarvis", "자비스", "plan how to do X", "decompose this goal", "goal mode", "목표 모드", "pursue this until done", "jarvis goal", "jarvis plan", "자비스 계획", "자비스 목표", "long-running objective", "multi-turn goal", "멀티턴 목표", "장기 목표", "계획 세워줘", "jarvis todo", "자비스 TODO", "보고서 작성해줘", "리포트 만들어줘", "보고서 생성", "분석 보고서", "슬랙에 리포트 보고", "슬랙에 보고서 공유", "리서치해서 슬랙에 보고", "페르소나 분석", "관점 분석해줘", "관점 분석", "딥 리서치", "리서치해서 보고서로". Do NOT use for a single known skill (invoke directly), simple edits, or one-shot tasks. Do NOT use for daily pipeline (use today). Do NOT use for "딥 리서치" without "보고서" → use deep-research-pipeline.

2026-07-230

metis-finetune-eval

sylvanus4/github-to-notion-sync

End-to-end playbook to fine-tune and evaluate an LLM on ThakiCloud Metis (kubeflow-llm-training + vLLM serving on compute-h200). Covers served-model data generation, dataset→S3, TrainJob submission (with every admission gotcha), LoRA adapter serving for inference, and gate-based A/B eval. Use when "모델 학습시켜줘", "파인튜닝 돌려줘", "TrainJob 띄워줘", "학습 전후 평가/A/B", "데모 GPU로 학습", "fine-tune on the cluster", "train and evaluate", "serve the adapter and compare". General across models. Do NOT use for local/Colab training (use colab-unsloth-finetune) or serving-only ops (use demo-llm-inference-test).

2026-07-230

name

gpu-incident-triage

description

GPU Incident Triage (하드웨어 사고 초동 대응)

절차 (순서 고정)

1. 수집 (결정론 수집기 — 무변경 read-only)

bash scripts/skills/gpu_incident_collect.sh <kube-context> <node> [tag]
# 예: bash scripts/skills/gpu_incident_collect.sh tkai-prod-compute-h200 tk-ai-wkld-wk-gpu-003 xid79

핵심 판독법:

Xid 79 = GPU fell off the bus (PCIe) — 개별 리셋 거의 불가, 리부트 표준.
Xid 74 = NVLink fatal. 여러 GPU·여러 링크 동시면 카드 불량이 아니라 브리지/패브릭 이벤트.
device-plugin의 XidCriticalError ... marking device as unhealthy → allocatable 강등의 직접 원인.
nvidia-smi에서 Unable to determine the device handle / ERR! / 프로세스 없는 메모리 좌초 확인.
사고 시각 전후 GPU 포드 타임라인으로 누가 그 시간대에 썼는지 정직하게 기록(상관≠인과 명시).

2. 안전 초동 조치 (가역만)

kubectl --context <ctx> cordon <node>   # 신규 유입 차단. 복구 후 uncordon

⛔ 타 팀 Running 포드 drain 금지(협의 사항으로 이슈에 기재). ⛔ 노드 리부트 직접 수행 금지(관리자).
GPU 리셋은 시도 자체가 증거: NVLink 도메인은 페어 전체 리셋 요구 + off-bus GPU는 핸들 없음 → 거부 메시지를 번들에 남기고 "리부트 필요"의 근거로 쓴다.

3. Drive 업로드 (열람 공개)

gws drive +upload "<abs>/<bundle>.zip" --format json   # → file id (stdout 첫 '{'부터 파싱)
gws drive permissions create --params '{"fileId":"<FID>"}' --json '{"role":"reader","type":"anyone"}'
# 링크: https://drive.google.com/file/d/<FID>/view

4. Slack 게시 (qa-issue-dedup-poster 경유 — 채널 오버라이드)

--domain 인프라(박윤재 자동 태그) + 하드웨어 담당 --assignee(예: 김종원 U0A6KDMSTB5).
스레드 2건 필수: (1) Drive 번들 링크 + 핵심 요약(Xid 타임라인·현 상태·번들 구성), (2) 조치 상황(수집/cordon/리셋 불가 근거/diag 보류 — 각 완료·불가·보류 명시).
게시는 사용자 승인 필수(Safety Gates). 렌더 드라이런을 먼저 보여준다.

5. 마무리

큐/노트에 사고 기록([[aps-failure-archaeology]] 인덱스 대상). 복구 확인 후 uncordon + 스레드에 종결 코멘트.
리부트 후 권장: dcgmi diag -r 3, Xid 74 재발 시 NVLink 브리지 리시트/케이블 → RMA 경로.

gotchas (2026-07-23 실사고에서)

busybox dmesg는 권한 없음 → chroot /host journalctl -k 가 정답 (--profile=sysadmin 필수).
호스트 PATH에 nvidia-smi 없을 수 있음(/run/nvidia/driver/usr/bin/) → driver daemonset 포드 exec가 안정.
UnexpectedAdmissionError 크래시루프는 Deployment가 실패 포드를 수백 개 양산한다 → 원인 워크로드가 우리 것이면 deployment 즉시 삭제 + delete pods --field-selector=status.phase=Failed.
사고 노드의 k8s상 Running 포드도 GPU 레벨에선 죽어 있을 수 있다(프로세스 없는 메모리 좌초) — "Running이니 괜찮다"고 판단 금지, nvidia-smi가 정본.
Slack user 토큰은 users.list/conversations.list 스코프가 없다 → 채널/유저 ID는 MCP slack_search_channels/slack_search_users로 조회.