vtube

정수리 crown reveal + THA3 회전 증류 — 끄덕임/들기/도리도리/대각선을 자연스럽게. THA3 신경망을 모션 오라클로 써서 flow를 리그 키폼으로 받아쓰기(런타임 GPU 0·2048 화질 유지) + gpt-image 정수리 자산을 앞머리 뒤 reveal 레이어로 주입. 트리거 — "머리 회전 자연스럽게", "정수리 reveal", "crown", "끄덕임 개선", "THA 증류", "대각선 시선", "rotation distill". 2026-07-08 유키(snack-yuki-001)로 end-to-end 실증·Vercel 배포.

그림 1장 업로드 → 풀 리깅 아바타 전자동 서버 파이프라인(Modal) 러너북. spec_from_image(VLM 스펙 초안)+generate_master_sheets --reference(정체성 운반)+See-through GPU+P2~P5+표현력 옵션을 원커맨드로. 트리거 — "업로드로 아바타", "서버에서 리깅", "modal 리깅", "그림 한 장으로 버튜버", "upload e2e", "P2 게이트". 2026-07-09 URO(레포 밖 임의 그림)로 실증 — 실측 $1.8~2.5/명·25~40분.

ChatterBox 의상실에서 "PNG 1장 업로드 → 자동 리깅 → 인앱 Live2D 아바타 수령"을 세우는 배선·배포 런북(CHATTERBOX-RIG-PORT-001 P3). Vtube Modal 파이프라인을 ChatterBox Supabase(avatar_jobs·Storage·Realtime)에 잇는다 — vgen 잡 클론 + FAL→Modal 스왑. 트리거 — "채터박스 아바타 배선", "PNG to live2d 웹연동", "의상실 아바타 생성", "avatar forge", "Modal 웹엔드포인트 배포", "avatar_jobs". 2026-07-09 미미 서버본으로 수령/렌더 반쪽 실증.

AUTORIG 리그(mini_cubism character.json)의 유기적 연결 건강성을 3층으로 진단한다 — L1 구조(파트=메시 짝·고아 디포머·파라미터 구동·draw order 겹침·타깃 실존), ★L2 깊이 게이트(커버리지·단조성=회전 시 가까운 부품이 먼 부품보다 더 움직이나·과대진폭 방지, depth_map 대조), 프로(Strong20) 정량 대조. 결정론 게이트(scan_rig_health.py)는 메인이 돌리고, L3 시각 건강성은 극단포즈 실렌더 A/B로 별도 판정. 트리거 — "리그 건강성", "리그 건강성 체크", "유기적 연결 체크", "디포머/키폼/깊이 점검", "rig health", "리그 QA", "새 캐릭터 빌드 후 검사", "깊이 단조성", "리그 스캔". 깊이 역전 WARN 시 inject_depth_keyforms.py로 교정.

AUTORIG 추출/분리 단계의 *절대 매직넘버*(008 아카네 픽셀에 손튜닝된 lum<150·MIN_PX=5000·LUM_MAX=150 등)를 *이미지 자체 통계*(피부 중앙값·MAD·앵커 면적 비율·영역 분위수)로 바꿔 캐릭터가 바뀌어도 안 깨지게 한다. 무회귀 A/B($0, 006/007/008 재추출 비교)로 검증. 트리거 — "임계값 상대화", "하드코딩 임계값", "캐릭터 바뀌면 추출 깨짐", "새 캐릭터 추출 일반화", "adaptive thresholds", "절대값 상대화", "추출 임계값 캐릭터 적응", "threshold relativization", "AUTORIG-THRESHOLD-REL".

단일 2D 애니 원화 → StdGEN(CVPR2025) 오프라인 3D 의미분해 복원 → 정수리/뒷머리 reveal 자산 베이킹 → 우리 2.5D 리그 주입. 머리 강회전(끄덕임 정수리·턴 귀뒤)의 "disocclusion 픽셀 부재" 천장을 *3D를 자산 생성기로만* 빌려 푼다(런타임은 현 2.5D 경량 유지). Colab A100. 트리거 — "정수리 reveal 생성", "머리 강회전 자산", "StdGEN", "3D 베이킹", "hair 별도메시", "끄덕임 정수리", "disocclusion 생성", "3D reveal bake".

마스터 1장 → THA3(Talking Head Anime 3) 신경망으로 자연스러운 머리 좌우턴/끄덕임 자산 추출. 핵심은 신경망 내부 appearance-flow(editor grid_change) 텐서를 직접 export해 맥 네이티브 cv2.remap 워프 + 리그 디포머 변위로 재사용. 트리거 — "머리 회전", "고개 돌리기/끄덕임", "THA3", "flow 텐서 추출", "head rotation", "2D 머리 턴", "appearance flow", "원본화질 회전 자산". 2026-06-20 008 아카네로 flow export end-to-end 실증(L1=0.0055 검증).

새 2D 버튜버 캐릭터를 코드 0줄(yaml 1개)로 생성→AI 자동리깅(끄덕임·목·어깨 foreshortening, 부품형 입, 표정, 2D 조합 키폼, hair strand physics 기본 적용)까지 만드는 검증된 풀 파이프라인. 트리거 — "새 버튜버 모델 만들기", "새 캐릭터 생성", "AUTORIG 캐릭터 추가", "설명/PNG로 버튜버 모델", "006/007 만들기". 배포·방송은 vtuber-deploy 스킬로 이어짐. 2026-06-16 006(Mung-ji)로 end-to-end 실증(워프 15·키폼 156).

AUTORIG rig(자체 2D 모델)를 정적 웹앱으로 빌드해 Vercel에 배포하고 OBS로 방송까지 거는 전체 파이프라인. 트리거 — "버튜버 모델 배포", "모델 남에게 주기", "방송 링크 만들기", "OBS 방송 셋업", "지피쨩/위벨 배포", "rig 웹앱화", "사용자 산출물(PLAYER)". 2026-06-15 005 지피쨩으로 end-to-end 실증 완료.

새 2D 버튜버 캐릭터를 코드 0줄(yaml 1개)로 생성→AI 자동리깅(끄덕임·목·어깨 foreshortening, 부품형 입, 표정, 2D 조합 키폼, hair strand physics 기본 적용)까지 만드는 검증된 풀 파이프라인. 트리거 — "새 버튜버 모델 만들기", "새 캐릭터 생성", "AUTORIG 캐릭터 추가", "설명/PNG로 버튜버 모델", "006/007 만들기". 배포·방송은 vtuber-deploy 스킬로 이어짐. 2026-06-16 006(Mung-ji)로 end-to-end 실증(워프 15·키폼 156).

AUTORIG rig(자체 2D 모델)를 정적 웹앱으로 빌드해 Vercel에 배포하고 OBS로 방송까지 거는 전체 파이프라인. 트리거 — "버튜버 모델 배포", "모델 남에게 주기", "방송 링크 만들기", "OBS 방송 셋업", "지피쨩/위벨 배포", "rig 웹앱화", "사용자 산출물(PLAYER)". 2026-06-15 005 지피쨩으로 end-to-end 실증 완료.

ChatterBox 의상실에서 "PNG 1장 업로드 → 자동 리깅 → 인앱 Live2D 아바타 수령"을 세우는 배선·배포 런북(CHATTERBOX-RIG-PORT-001 P3). Vtube Modal 파이프라인을 ChatterBox Supabase(avatar_jobs·Storage·Realtime)에 잇는다 — vgen 잡 클론 + FAL→Modal 스왑. 트리거 — "채터박스 아바타 배선", "PNG to live2d 웹연동", "의상실 아바타 생성", "avatar forge", "Modal 웹엔드포인트 배포", "avatar_jobs". 2026-07-09 미미 서버본으로 수령/렌더 반쪽 실증.

Use when a new AUTORIG character needs HIGH-RES (2048) See-through decomposition beyond the Mac MPS 640 ceiling — driving Colab A100 via the `colab` CLI, running native inference_psd.py, converting its output to our *_layers.json with adapt_seethrough_native_to_layers.py, and feeding it into run_autorig_pipeline.py via --reuse-decomposition. Complements the Mac-512 codex skill vtube-mps-seethrough-success-pattern.

단일 정면 원화(마스터 PNG) → fal.ai Rodin 3D 메시 생성 → Unity 캘리브레이션 투사 베이크로 마스터를 메시 앞면에 "자연스럽게" 입힌다(뒤=네이티브, 솔리드). 핵심은 BakeProjected의 per-view 캘리브레이션(캐릭터 bbox 정렬, 가로·세로 독립) — Blender 오쏘(전체이미지 프레이밍)보다 얼굴이 안 늘어남. 평면 데칼이라 정면~¾만 자연스럽고 옆모습은 납작(천장). 트리거 — "로딘", "Rodin", "단일 이미지 3D", "정면 마스터 3D에 입히기", "얼굴 투사", "projection bake", "BakeProjected", "3D 텍스처 투사", "image-to-3D 데칼", "PNG 3D 메시".

웹캠 라이브에서 리그가 떨리거나(덜덜), 대각선에서 충돌감이 나거나, 시작 직후 기본위치로 튕기고 트래킹이 틀어질 때의 진단·수정 런북. 핵심 철칙 = 자산·트래킹·보정 3분리(정적 강제렌더로 자산 무죄부터). 트리거 — "덜덜 떨림", "지터", "대각선 충돌", "왼쪽아래 불안정", "턱 뭉개짐", "기본위치로 돌아감", "트래킹이 틀어짐", "중립보정 문제", "라이브 불안정", "live jitter". 2026-07-08 유키 배포본 실증(3증상 전부 해결·재배포).

AUTORIG 리그에 THA4 자연 감은눈을 비파괴로 베이크 주입하고, 웹캠 눈 트래킹을 버튜버 표준으로 끌어올린다. ★THA4 리그는 바이너리(뜬눈디테일 L·R 전부 ParamEyeLOpen에 묶임·open은 0.97~1.0서만) → 양눈 링크+1.0 SNAP 필수, 눈 개폐는 drift-track baseline+넓은 plateau(고정 데드존·머리각도보정 폐기). 010(루비) R&D로 배포수준 검증된 character-agnostic 파이프라인 — scripts/inject_tha4_eyes.py(4단 알파필터+뜬눈숨김키프레임) + 공유 드라이브 템플릿(scripts/templates/mini_cubism_drive.html). 디버깅은 추측 금지·HUD 숫자 실측. 트리거 — "THA4 눈", "자연스러운 깜빡임", "눈 표현력", "눈 사라짐/한쪽 눈 소멸", "눈 잔상/앞머리 딸려옴", "윙크 안 됨", "고개 들면/돌리면 눈 감김", "바로 감김", "눈 트래킹 표준", "tha4 eyes", "eye blink ghost". 배포본 불가침 — 항상 rig_v0_project_tha4eyes 변종에.

GPU 전 프리플라이트 게이트 — YAML·마스터·See-through 레포·Modal 크레덴셜·의존성을 CPU로 전수 검사해 $0.08~0.17 GPU 소비 전에 막을 수 있는 실패를 모두 차단한다. 트리거 — "파이프라인 실행 전 체크", "GPU 전 게이트", "프리플라이트", "preflight", "파이프라인 돌리기 전", "See-through 전 검증", "캐릭터 파이프라인 준비됐나", "character yaml 검증".

AUTORIG 리그에 THA4 자연 감은눈을 비파괴로 베이크 주입하고, 웹캠 눈 트래킹을 버튜버 표준으로 끌어올린다. ★THA4 리그는 바이너리(뜬눈디테일 L·R 전부 ParamEyeLOpen에 묶임·open은 0.97~1.0서만) → 양눈 링크+1.0 SNAP 필수, 눈 개폐는 drift-track baseline+넓은 plateau(고정 데드존·머리각도보정 폐기). 010(루비) R&D로 배포수준 검증된 character-agnostic 파이프라인 — scripts/inject_tha4_eyes.py(4단 알파필터+뜬눈숨김키프레임) + 공유 드라이브 템플릿(scripts/templates/mini_cubism_drive.html). 디버깅은 추측 금지·HUD 숫자 실측. 트리거 — "THA4 눈", "자연스러운 깜빡임", "눈 표현력", "눈 사라짐/한쪽 눈 소멸", "눈 잔상/앞머리 딸려옴", "윙크 안 됨", "고개 들면/돌리면 눈 감김", "바로 감김", "눈 트래킹 표준", "tha4 eyes", "eye blink ghost". 배포본 불가침 — 항상 rig_v0_project_tha4eyes 변종에.

프로젝트 문서의 건강성을 3기준으로 진단한다 — ① 인덱싱성(새 세션/태스크 시작 시 CLAUDE.md→INDEX→PROJECT-STATUS 체인만으로 현재 작업을 바로 찾는가, staleness 없는가) ② 크기/토큰(개별 문서가 너무 커서 읽으면 토큰 과소비하는가, 핵심 내비는 작은가) ③ 정리(폴더 구조, 죽은 링크, 중복). 트리거 — "문서 건강성 체크", "문서 건강성", "문서 정리 상태 확인", "문서가 너무 큰지", "문서 토큰 점검", "인덱싱 되는지 확인", "SSOT 문서 점검", "doc health check", "문서 구조 감사", "문서 갱신", "문서 업데이트", "문서 정리해줘". 진단은 메인(최상위) 모델이, 편집은 Sonnet에 위임.

브라우저 멀티 아바타(PixiJS 2D 버튜버) 렌더 성능 천장을 정직하게 측정한다 — "이 기기가 아바타 N개를 몇 fps로 그리나"(멀티유저 방 인원·저사양 클라 게이트). 단일 페이지 WebGL N캔버스 하니스로 N=1→천장 스윕, 4개 하드 게이트(실제 렌더러 신원=Metal/SwiftShader 판별·메시변형 실행 증명·실렌더 시각·바닥값 아닌 실fps)로 가짜 측정을 막고, vsync 상한 함정을 인지해 진짜 천장을 찾는다. 트리거 — "렌더 성능 측정", "동시 아바타 한계", "N인 방 가능한가", "6인 방 성능", "fps 천장", "성능 게이트", "기기 성능 테스트", "저사양 측정", "Acer 측정", "render scale", "몇 명까지 렌더". 결과는 results.json에 기기별(env) run으로 append.

scripts/ 에 쌓이는 *죽은 스크립트*(아무도 import/subprocess/문서참조하지 않는 것)를 찾아 docs/archive/cubism-era-scripts/ 묘지로 안전 이동(삭제 아님)한다. Cubism 피벗(2026-06-10) 이전 저작 스크립트가 319개까지 쌓여 "뭐가 실제로 도는지"가 안 보이던 사건의 재발 방지. 트리거 — "스크립트 정리", "죽은 스크립트", "안 쓰는 스크립트 찾아", "스크립트 묘지", "scripts 정리", "도달성 감사", "graveyard audit", "묘지로 보내", "사용 안 하는 파이썬 파일", "스크립트 감사".

AUTORIG 검수 관제탑(control_tower, 8095)이 "지금 돌아가는 파이프라인을 정확히 비추는 상태"인지 최신화·검증한다. 관제탑은 runs/<id>/events.jsonl을 라이브로 읽어 프론트가 폴링하므로 데이터는 본질적으로 최신이다 — 진짜 드리프트 리스크는 ① 서버 미기동 ② 스테이지 등록 3곳 비동기 ③ 신규 산출이 artifact_created로 발행 안 됨. 트리거 — "대시보드 최신화", "관제탑 최신화", "관제탑 켜줘", "대시보드 확인", "진행 대시보드 보여줘", "관제탑이 현재 런 보고 있나", "새 스테이지 대시보드 반영", "dashboard refresh", "control tower 동기화". 진단은 메인 모델이, 코드 동기화 편집은 Sonnet에 위임.

AUTORIG 캐릭터의 "버튜버가 만들어지는 과정"을 홍보 쇼츠로 만든다 — 백지→파츠함 생성→무대 조립→초록 리깅 순차 등장→웹캠으로 직접 구동까지. 캐릭터 무관(character.json 일반 파싱). 트리거 — "홍보 영상/쇼츠 만들기", "제작 과정 녹화", "버튜버 만들어지는 영상", "유튜브 홍보 영상", "조립 영상", "리깅 과정 보여주는 영상". 빌드는 vtuber-autorig, 배포·방송은 vtuber-deploy. 2026-06-18 007 나비로 실증.