tha3-head-rotation

name	tha3-head-rotation
description	마스터 1장 → THA3(Talking Head Anime 3) 신경망으로 자연스러운 머리 좌우턴/끄덕임 자산 추출. 핵심은 신경망 내부 appearance-flow(editor grid_change) 텐서를 직접 export해 맥 네이티브 cv2.remap 워프 + 리그 디포머 변위로 재사용. 트리거 — "머리 회전", "고개 돌리기/끄덕임", "THA3", "flow 텐서 추출", "head rotation", "2D 머리 턴", "appearance flow", "원본화질 회전 자산". 2026-06-20 008 아카네로 flow export end-to-end 실증(L1=0.0055 검증).

THA3 머리회전 — flow 텐서 추출 (AUTORIG-INOCHI2D-ABSORB-001)

2D 머리 큰턴/끄덕임은 정면 픽셀 워프로 원리적 불가(새 면이 드러남 → 어안왜곡/디졸브, [[angle-artwork-swap-abandoned]]). 해법 = THA3 신경망이 같은 이미지 1장을 회전시키되, 그 내부 appearance-flow(변위장)를 직접 빼와 맥에서 원본 마스터를 워프 = 원본화질 + 진짜 회전 + GPU 불요 런타임.

⚠️ 이 스킬은 flow 추출까지가 검증 완료(durable). 하류(reveal 자산·디포머·배포)는 R&D 진행 중(§7).

전제

• THA3는 맥 미지원(Nvidia 필수) → Colab T4로 추출만 하고 끔. 추출 후 워프/구동은 전부 맥 네이티브.
• colab (google-colab-cli, ~/.local/bin/colab), ADC 인증(~/.config/gcloud/application_default_credentials.json). 명령은 --auth adc.
• 가중치 = Dropbox zip 834MB → data/models/{standard_float,...}. standard_float = 선명 모델(separable_half는 화질 나쁨, 거부됨).
• 참조 구현: experiments/autorig-character-008/tha3_out/ — export_head_tha3.py(VM export)·flow_warp.py(맥 워프)·reveal_regions.py. 새 캐릭터는 입력 이미지만 갈면 됨.

1. Colab 세션 + THA3 셋업

export PATH="$HOME/.local/bin:$PATH"
colab --auth adc new -s tha3 --gpu T4              # T4 15GB면 충분
# clone + 가중치(한 exec, timeout 길게)
#   git clone --depth 1 https://github.com/pkhungurn/talking-head-anime-3-demo.git
#   cd data/models && wget -O m.zip "https://www.dropbox.com/s/y7b8jl4n2euv8xe/talking-head-anime-3-models.zip?dl=1" && unzip -q m.zip

colab --auth adc exec -s tha3 -f <local.py> --timeout 900 로 로컬 파이썬을 VM서 실행. upload 명령 없음 → 바이너리(입력 이미지)는 base64를 파이썬 문자열로 임베드해 exec로 VM에 기록.

2. 입력 준비 (crypko 표준 프레이밍)

THA3 입력 = 512² RGBA, 얼굴 crypko 표준위치. rembg(u2net)로 흰배경 제거(흰셔츠 보존) → 얼굴크기 매칭 + 중심정렬해 512 캔버스 합성. 008 프레이밍 상수: s=106/313≈0.339; offset=(round(257-509*s), round(156-261*s)). 결과 PNG를 base64 → VM /content/akane_b64.txt.

3. flow export (핵심)

export_head_tha3.py 가 하는 일 (검증된 규약):

• load_poser("standard_float", cuda), extract_pytorch_image_from_PIL_image(pil, scale=2, offset=-1) → [4,512,512] in [-1,1].
• pose = 45차원 0벡터, head_x=39(pitch)·head_y=40(yaw) 세팅. 인덱스는 get_pose_parameter_groups()로 조회 + 39/40 교차검증. (pose 1D, 배치 아님)
• 7×7 grid: head_x·head_y ∈ [-1,1] 7스텝(±1≈±15° gentle).
• 프레임마다 2회 호출: poser.pose(img,pose,0)=최종이미지[4,512,512], poser.pose(img,pose,4)=editor grid_change[2,512,512].
  • output_index=4 = editor_07.GRID_CHANGE_INDEX. all_outputs서 editor가 맨앞이라 절대 인덱스도 4. (rotator grid_change는 7=editor5개+rotator2; editor 것이 원본→최종 전체 flow라 이게 정답.)
• 저장: 이미지 out_img/r{i}_c{j}.png, flow out_flow/r{i}_c{j}.npy(float16).

colab --auth adc exec -s tha3 -f export_head_tha3.py --timeout 600
# VM서 zip → download (upload 없듯 디렉토리 전송은 zip 1회가 깔끔)
colab --auth adc download -s tha3 /content/tha3_export.zip ./tha3_export.zip
colab --auth adc stop -s tha3                      # ★끄기(컴퓨트 절약, 이후 맥서 다 됨)

4. 자체검증 + 맥 워프 (성역: ground truth)

export 스크립트가 1프레임에서 flow를 입력에 grid_sample 적용→실제 출력과 L1 비교. align_corners·sign 변종을 다 돌려 최저 선택. 확정 규약: sampling_grid = base_grid + grid_change, sign=+1, L1≈0.005면 정확(=editor grid_change가 전체 변환 flow임 증명). L1이 크면 잘못 — 인덱스/규약 재확인.

맥 워프(flow_warp.py, cv2.remap, GPU 불요):

flow=[2,H,W] (ch0=x, ch1=y, 정규화[-1,1])
src_px = x + flow_x*(W-1)/2 ;  src_py = y + flow_y*(H-1)/2
remap(src_resized_to_S, map_x, map_y, INTER_LINEAR)

검증: flow_warp_check.png 좌(THA3 net 정답)/우(워프) 전 각도 일치 확인. neutral flow median|mag|≈0.005(거의 identity, max는 배경코너 outlier).

5. flow 사용처 (왜 텐서로 빼나)

1. 원본화질 워프 — flow를 고해상 마스터에 적용(정규화라 해상도 무관) → 512 소프트 출력 대신 원본 픽셀이 모션대로 이동. 알파=THA3 실루엣, RGB=원본.
2. ★리그 디포머 변위 — flow를 파트별 메시 정점 변위로 변환 → 프레임블렌드가 아닌 진짜 메시 리깅(입·표정 물리와 합침). (주인님 통찰)
3. 표정/입/눈 — 같은 export 루틴에서 pose의 나머지 다이얼(눈썹·입·눈)도 베이크 가능(45dim 전부 노출).
4. 런타임 블렌드 — 7×7 프레임 이중선형 블렌드(슬라이더/웹캠), tha3_slider.html 참조.

트러블슈팅 (실제 겪은 것)

증상	원인	해결
colab list 없음	명령은 ls	colab ls / 세션 sessions.json(~/.config/colab-cli)
바이너리 업로드 불가	upload 명령 없음	base64 문자열 임베드 → exec로 VM에 기록
화질 나쁨	separable_half 모델	standard_float 사용
flow가 회전 재현 못함	잘못된 output_index/규약	editor index=4, base+gc sign+1, L1로 검증
neutral flow 큰 값	배경코너 outlier	median
정면픽셀 워프 어안/디졸브	따로 생성한 뷰 합성 시도	금지 — THA3 flow만이 정답([[angle-artwork-swap-abandoned]])

6. 산출물 / 증거

• flow 49장: tha3_out/grid_change_flow/*.npy, net 이미지: grid7_net/, 원천(THA3 standard): grid7_hq/.
• 검증: flow_warp_check.png, export 로그 L1=0.0055.
• SPEC: docs/ref/rnd/AUTORIG-INOCHI2D-ABSORB-001.md. 메모리 [[tha3-head-rotation-breakthrough]].

7. 한계 / 다음 (R&D)

• gentle 한정: 단일 앞면 워프라 완전 옆모습(새 면)은 불가. ±15° 자연스러움.
• reveal 구멍(미해결): 회전 시 가려졌던 부위(정수리·턱밑·먼볼) 소스 없음 → 이제 정확 flow로 "입력 밖 샘플링" 픽셀을 계산 검출 → reveal 자산 저작(학습 불필요, THA3 추론만).
• 디포머 변환·배포: flow→메시 키폼→기존 리그(물리·입·표정) 통합→정적 웹앱+웹캠. 수렴 시 이 스킬에 §추가.