handoff-humanoid-control

name	handoff-humanoid-control
description	Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers - 多教师KL蒸馏框架用于人形机器人全身控制
version	1.0.0
category	systems-engineering
tags	["control-systems","robotics","humanoid","whole-body-control","multi-teacher-distillation","mixture-of-experts"]
activation_keywords	["humanoid","whole-body control","task-space","distillation","mixture-of-experts","motion tracking","locomotion","fall-recovery"]
arxiv_id	2606.06493v1
authors	Lizhi Yang, Junheng Li, Nehar Poddar, Yiling Hou, Gio Huh, Robert Griffin, Georgia Gkioxari, Aaron Ames
published	2026-06-04T00:00:00.000Z

HANDOFF: Humanoid Agentic Task-Space Whole-Body Control

概述

HANDOFF 是一个创新的人形机器人全身控制框架，通过多教师KL蒸馏方法将三个互补专家教师（全身动作跟踪、运动、跌倒恢复）蒸馏到一个混合专家学生模型中。该方法解决了任务规划与全身控制之间的接口问题，提供了一个紧凑、直观、通用且表达能力强的命令空间接口。

核心方法论

1. 命令空间设计原则

HANDOFF 提出了四个命令空间设计准则：

• 直观性 (Intuitive): 接口应易于理解和操作
• 通用性 (General): 支持多样化操作技能
• 模块化 (Modular): 允许独立开发和组合
• 表达能力 (Expressive): 能够表达复杂操作任务

2. 多教师KL蒸馏框架

核心蒸馏流程：

1. 三个互补教师专家：

   • Whole-body motion tracking: 全身动作跟踪（带安全过滤数据）
   • Locomotion: 运动控制
   • Fall-recovery: 跌倒恢复

2. 上下文条件门控机制 (Context-conditioned gating):

   • 根据任务上下文动态选择激活哪个专家
   • 门控函数: $g(x) = \sigma(W_g \cdot x + b_g)$

3. KL蒸馏损失: $$L_{distill} = \sum_{i=1}^{N} KL(\pi_{student} || \pi_{teacher_i}) \cdot g_i(x)$$

3. 混合专家学生架构

学生模型作为MoE（Mixture-of-Experts）架构：

• 每个专家专注于特定技能域
• 门控网络根据上下文选择专家
• 支持无缝技能切换和组合

4. 安全过滤数据增强

全身动作跟踪教师使用安全过滤数据：

• 从高动作跟踪数据中过滤危险动作
• 保持动作语义同时确保安全性
• 安全约束: $|q_{target} - q_{current}| \leq \Delta_{max}$

系统架构

整体架构

┌─────────────────────────────────────────────────────────┐
│                    VLM-Driven Planner                   │
│        (Natural Language → Task Commands)               │
└───────────────────────┬─────────────────────────────────┘
                        │ Task Commands
                        ▼
┌─────────────────────────────────────────────────────────┐
│                    HANDOFF Controller                   │
│  ┌─────────────────────────────────────────────────┐   │
│  │         MoE Student (Distilled)                 │   │
│  │  ┌─────────┐  ┌─────────┐  ┌─────────┐         │   │
│  │  │Expert 1 │  │Expert 2 │  │Expert 3 │         │   │
│  │  │(Motion) │  │(Locomot)│  │(Fall-Rec)│         │   │
│  │  └─────────┘  └─────────┘  └─────────┘         │   │
│  │         ↑ Context-Conditioned Gating ↓         │   │
│  └─────────────────────────────────────────────────┘   │
└───────────────────────┬─────────────────────────────────┘
                        │ Whole-body Actions
                        ▼
┌─────────────────────────────────────────────────────────┐
│                  Unitree G1 Hardware                    │
└─────────────────────────────────────────────────────────┘