gpu-incident-triage

name

gpu-incident-triage

description

Triage a GPU HARDWARE incident on a K8s GPU node (Xid errors, NVLink faults, UnexpectedAdmissionError, allocatable drop, GPU fell off the bus): collect a deterministic evidence bundle (kernel NVRM/Xid via node debug pod, device-plugin and DCGM logs, driver-pod nvidia-smi, node state, admission events, GPU pod timeline), apply safe first-response (cordon), upload the bundle to Google Drive, and post a detailed issue to Slack #problem-of-thakicloud via qa-issue-dedup-poster with thread follow-ups. Use when "GPU 장애", "Xid 에러", "NVLink 오류", "GPU가 안 잡혀요", "UnexpectedAdmissionError", "allocatable 줄었다", "GPU requires reset", "노드 GPU 죽음", "gpu incident", "hardware fault triage". Do NOT use for GPU utilization/capacity questions (use h200-gpu-usage-inspector), app-level demo QA (use ai-platform-autoqa / demo-* RCA skills), or GPU purchase planning (use gpu-capacity-procurement-planner).

GPU Incident Triage (하드웨어 사고 초동 대응)

2026-07-23 gpu-003 사고(Xid 74 NVLink fatal 3-GPU 동시 → Xid 79 bus 이탈 → 전 GPU ERR!)에서 검증된 절차를 스킬화. 수집·렌더는 코드 소유([[sonnet-format-determinism]]), 게시는 승인 게이트, 파괴적 조치(리부트·타 팀 포드 drain)는 하지 않는다 — 증거를 만들어 관리자에게 넘긴다.

절차 (순서 고정)

1. 수집 (결정론 수집기 — 무변경 read-only)

bash scripts/skills/gpu_incident_collect.sh <kube-context> <node> [tag]
# 예: bash scripts/skills/gpu_incident_collect.sh tkai-prod-compute-h200 tk-ai-wkld-wk-gpu-003 xid79

산출: outputs/incidents/<date>-<node>-<tag>/ + zip. 포함: 커널 NVRM/Xid(journalctl, debug pod), device-plugin/DCGM 로그, driver-pod nvidia-smi(-q 포함), node describe/yaml, admission 이벤트, GPU 포드 타임라인. INCIDENT-SUMMARY.md를 손으로 추가(타임라인·판정·조치 이력 — 아래 4의 내용).

핵심 판독법:

• Xid 79 = GPU fell off the bus (PCIe) — 개별 리셋 거의 불가, 리부트 표준.
• Xid 74 = NVLink fatal. 여러 GPU·여러 링크 동시면 카드 불량이 아니라 브리지/패브릭 이벤트.
• device-plugin의 XidCriticalError ... marking device as unhealthy → allocatable 강등의 직접 원인.
• nvidia-smi에서 Unable to determine the device handle / ERR! / 프로세스 없는 메모리 좌초 확인.
• 사고 시각 전후 GPU 포드 타임라인으로 누가 그 시간대에 썼는지 정직하게 기록(상관≠인과 명시).

2. 안전 초동 조치 (가역만)

kubectl --context <ctx> cordon <node>   # 신규 유입 차단. 복구 후 uncordon

• ⛔ 타 팀 Running 포드 drain 금지(협의 사항으로 이슈에 기재). ⛔ 노드 리부트 직접 수행 금지(관리자).
• GPU 리셋은 시도 자체가 증거: NVLink 도메인은 페어 전체 리셋 요구 + off-bus GPU는 핸들 없음 → 거부 메시지를 번들에 남기고 "리부트 필요"의 근거로 쓴다.

3. Drive 업로드 (열람 공개)

gws drive +upload "<abs>/<bundle>.zip" --format json   # → file id (stdout 첫 '{'부터 파싱)
gws drive permissions create --params '{"fileId":"<FID>"}' --json '{"role":"reader","type":"anyone"}'
# 링크: https://drive.google.com/file/d/<FID>/view

4. Slack 게시 (qa-issue-dedup-poster 경유 — 채널 오버라이드)

Skill: qa-issue-dedup-poster 워크플로를 따르되 --channel C0A9AUPQ62X(#problem-of-thakicloud): sync → dedup → post.py 렌더(존댓말 합니다체, 확정/[추정] 구분, 테마 불릿) → --post.

• --domain 인프라(박윤재 자동 태그) + 하드웨어 담당 --assignee(예: 김종원 U0A6KDMSTB5).
• 스레드 2건 필수: (1) Drive 번들 링크 + 핵심 요약(Xid 타임라인·현 상태·번들 구성), (2) 조치 상황(수집/cordon/리셋 불가 근거/diag 보류 — 각 완료·불가·보류 명시).
• 게시는 사용자 승인 필수(Safety Gates). 렌더 드라이런을 먼저 보여준다.

5. 마무리

• 큐/노트에 사고 기록([[aps-failure-archaeology]] 인덱스 대상). 복구 확인 후 uncordon + 스레드에 종결 코멘트.
• 리부트 후 권장: dcgmi diag -r 3, Xid 74 재발 시 NVLink 브리지 리시트/케이블 → RMA 경로.

gotchas (2026-07-23 실사고에서)

• busybox dmesg는 권한 없음 → chroot /host journalctl -k 가 정답 (--profile=sysadmin 필수).
• 호스트 PATH에 nvidia-smi 없을 수 있음(/run/nvidia/driver/usr/bin/) → driver daemonset 포드 exec가 안정.
• UnexpectedAdmissionError 크래시루프는 Deployment가 실패 포드를 수백 개 양산한다 → 원인 워크로드가 우리 것이면 deployment 즉시 삭제 + delete pods --field-selector=status.phase=Failed.
• 사고 노드의 k8s상 Running 포드도 GPU 레벨에선 죽어 있을 수 있다(프로세스 없는 메모리 좌초) — "Running이니 괜찮다"고 판단 금지, nvidia-smi가 정본.
• Slack user 토큰은 users.list/conversations.list 스코프가 없다 → 채널/유저 ID는 MCP slack_search_channels/slack_search_users로 조회.