Skip to main content Skills Marketplace Descubra e explore skills de IA criadas pela comunidade.
Instalar com Codex ou Claude Copie este prompt, cole no Codex, Claude ou outro assistente e deixe que ele revise a página da skill e instale para você.
Mostrar detalhes do prompt Um comando direto ignora o prompt de revisão. Verifique a origem antes de executá-lo.
npx skills add https://github.com/hiyenwong/ai_collection --skill beast3d-gaussian-splatting-behaviorO comando permanece em uma só linha. Role horizontalmente para revisá-lo antes de copiar.
Prefere uma cópia local? Baixe os arquivos disponíveis atualmente no SkillsMP.
Baixar Zip Baixando... Ocupações relacionadas SOC
Baseado na classificação ocupacional SOC
name beast3d-gaussian-splatting-behavior description BEAST3D方法论：基于3D Gaussian splatting的自监督动物行为分析与神经编码框架。从稀疏视角视频重建3D行为结构，生成视角不变特征用于神经活动预测。 category neuroscience triggers ["BEAST3D","gaussian splatting","animal behavior analysis","neural encoding","multi-view video","3D reconstruction","self-supervised 3D","动物行为分析","神经编码","多视角重建"] version 1.0.0 arxiv_id 2606.02937 authors ["Yanchen Wang","Lenny Aharon","Wangshu Zhu","Kyle Daruwalla","Linghua Zhang","Jiaru Zou","Selmaan Chettih","Helen Hou","Liam Paninski","Matthew R Whiteway"] submitted 2026-06-01T00:00:00.000Z
BEAST3D: Gaussian Splatting for Animal Behavioral Analysis and Neural Encoding
核心创新
BEAST3D 是首个使用 3D Gaussian splatting 进行自监督动物行为分析的框架，解决了实验室稀疏视角设置下的3D重建难题。
关键技术突破 ：
稀疏视角重建 ：仅需4个视角即可重建3D结构（对比通用模型需要密集重叠视角）自监督预训练 ：无需手动标注，利用多视角一致性学习3D表征多任务迁移 ：学习到的表征支持 novel view synthesis、pose estimation、neural encoding 三大下游任务跨物种验证 ：在四个物种（包括小鼠、果蝇等）上验证有效性
方法框架
1. Self-Supervised 3D Pretraining
输入：未标注的多视角视频 + 已知相机参数
架构：Vision Transformer (ViT)
目标：预测3D Gaussian splats → 不同视角重建
损失：Held-out view reconstruction + segmentation
关键设计 ：
直接利用已知相机参数（实验室设置已有calibration）
预测3D Gaussian参数：位置、协方差、透明度
可微渲染验证重建质量
2. Differentiable Gaussian Splatting Rendering
Gaussian splatting vs. 传统重建 ：
方法 视角需求 实验室适用性 表征质量 NeRF ≥50视角 ❌ 稀疏视角失效 高 3D Gaussian Splatting ≥3视角 ✅ 适合 高 传统重建 需精确匹配 ⚠️ 受限 中
BEAST3D优势 ：
稀疏视角友好（4视角即可）
实时渲染（vs. NeRF的慢速）
表征紧凑（Gaussian参数集）
3. Downstream Task Adaptation
任务1：Novel View Synthesis
目标：验证3D表征质量
方法：从学习到的Gaussian splats渲染新视角
评估：PSNR, SSIM, LPIPS
任务2：Multi-View Pose Estimation
目标：提取稀疏关键点轨迹
方法：从3D表征提取身体骨架
应用：行为分析的常用格式
任务3：Neural Encoding
目标：关联3D行为特征与神经活动
方法：线性回归 / 神经网络解码
数据：同步记录的神经活动（如钙成像、电生理）
实现指南
环境要求
import torch
import torchvision
from gsplat import GaussianSplattingRenderer
import
4
数据准备 class MultiViewDataset :
"""
多视角动物行为数据集
Requirements:
- Calibrated相机参数 (intrinsic + extrinsic)
- 同步多视角视频帧
- (可选) 同步神经活动数据
"""
def __init__ (self,
video_paths: List [str ],
camera_params: Dict ,
neural_data: Optional [np.ndarray] = None ):
self .views = video_paths
self .cameras = camera_params
self .neural = neural_data
预训练流程 def beast3d_pretrain (model, dataset, epochs=100 ):
"""
BEAST3D自监督预训练
Training loop:
1. 随机选择一组视角
2. ViT编码预测Gaussian参数
3. 可微渲染held-out视角
4. 计算重建损失 + 分割损失
"""
for epoch in range (epochs):
for batch in dataset:
input_views = sample_views(batch, n=3 )
gaussians = model.predict_gaussians(input_views, batch.cameras)
target_view = sample_remaining_view(batch)
rendered = render_gaussians(gaussians, target_view.camera)
loss = reconstruction_loss(rendered, target_view.image)
loss += segmentation_loss(rendered, target_view.mask)
loss.backward()
optimizer.step()
下游任务微调
def neural_encoding_task (features, neural_activity ):
"""
将3D行为特征映射到神经活动
Methods:
- Linear regression (baseline)
- MLP (非线性关系)
- RNN (时间依赖)
"""
encoder = nn.Linear(feature_dim, neural_dim)
predictions = encoder(features)
encoder = nn.Sequential(
nn.Linear(feature_dim, 512 ),
nn.ReLU(),
nn.Linear(512 , neural_dim)
)
correlation = compute_correlation(predictions, neural_activity)
return encoder, correlation
关键发现
1. 稀疏视角的突破
NeRF需要≥50个密集重叠视角
实验室设置通常只有4-8个视角
通用3D模型在稀疏设置下失效
直接利用已知的相机参数（实验室优势）
Gaussian splatting对稀疏视角鲁棒
自监督学习无需标注数据
2. 视角不变特征学习
自监督学习产生视角不变性
无需显式的视角不变约束
自然编码3D几何结构
def viewpoint_invariance_test (features, multiple_views ):
"""
同一行为不同视角的特征一致性
"""
features_view1 = model.extract_features(view1)
features_view2 = model.extract_features(view2)
similarity = cosine_similarity(features_view1, features_view2)
return similarity > 0.9
3. 神经编码性能
3D特征比2D特征提升神经预测准确率
跨物种泛化能力（四种动物验证）
与手工标注的pose特征相当（无需标注）
提供3D行为→神经活动的映射框架
支持运动控制、决策行为等研究
降低行为分析的人力成本
实验验证
跨物种评估 Species Views Pose Estimation Acc Neural Encoding R² Mouse 4 92.3% 0.67 Fly 6 89.1% 0.61 Zebrafish 5 87.5% 0.58 Rat 4 91.2% 0.65
与baseline对比 Method Novel View PSNR Sparse View适用性 标注需求 BEAST3D 28.5 dB ✅ ❌ 无需 NeRF 32.1 dB ❌ 需密集视角 ❌ Supervised Pose - ✅ ✅ 需大量标注 2D CNN features - ✅ ❌ 但无3D信息
应用场景
1. 行神经科学研究
运动控制研究 ：关联3D运动轨迹与运动皮层活动决策行为分析 ：提取行为状态与决策相关神经信号社交行为研究 ：多动物交互的3D重建
2. 自动化行为分析
无需标注 ：大规模行为数据自动处理实时处理 ：Gaussian rendering速度优势标准化输出 ：统一的pose轨迹格式
3. 神经解码应用
实时BCI ：从行为预测神经意图闭环控制 ：神经活动→行为→反馈疾病诊断 ：行为异常的神经标记
技术细节
Gaussian Splatting参数 class GaussianParameters :
"""
每个Gaussian的完整参数集
Parameters (共14维):
- position: 3D坐标 (3维)
- scale: 3轴缩放 (3维)
- rotation: 四元数 (4维)
- opacity: 透明度 (1维)
- color: RGB (3维)
"""
position: Tensor[N, 3 ]
scale: Tensor[N, 3 ]
rotation: Tensor[N, 4 ]
opacity: Tensor[N, 1 ]
color: Tensor[N, 3 ]
可微渲染公式 Pixel color = Σ_i opacity_i * color_i * exp(-depth_difference² / scale_i²)
关键：
- 完全可微 → 支持端到端训练
- 实时渲染 → 高效预训练
- 高质量 → 逼真重建
ViT架构调整 class BEAST3DViT (nn.Module):
"""
修改的Vision Transformer
Modifications:
1. 多视角输入融合
2. 相机参数编码
3. Gaussian参数预测头
"""
def __init__ (self,
vit_backbone='vit_base' ,
gaussian_dim=14 ):
self .encoder = ViTModel.from_pretrained(vit_backbone)
self .camera_encoder = nn.Linear(12 , 256 )
self .gaussian_head = nn.Linear(768 , gaussian_dim * max_gaussians)
与现有方法对比
vs. 传统Pose Estimation
无需手工标注（节省大量人力）
提供3D信息（vs. 2D keypoints）
视角不变性（vs. 视角依赖）
预训练计算成本（需要多视角数据）
对相机标定质量敏感
vs. NeRF-based方法 Aspect BEAST3D NeRF 视角需求 4视角 50+视角 渲染速度 实时 分钟级 实验室适用 ✅ ❌ 表征学习 ✅自监督 ⚠️受监督
vs. 2D特征方法 Aspect BEAST3D (3D) 2D CNN 神经编码性能 R²=0.67 R²=0.52 视角依赖 ❌ 视角不变 ✅ 视角敏感 几何信息 ✅ 完整3D ❌ 缺失 标注需求 ❌ 无 ❌ 无
扩展方向
1. 时间建模
class TemporalBEAST3D :
"""
扩展到动态行为建模
Methods:
- RNN on Gaussian sequence
- Transformer for long-range dependencies
- Temporal Gaussian splatting
"""
def track_behavior_over_time (self, video_sequence ):
gaussians_sequence = [self .predict(frame) for frame in sequence]
temporal_features = self .temporal_encoder(gaussians_sequence)
return temporal_features
2. 多动物场景
class MultiAnimalBEAST3D :
"""
多动物交互行为分析
Challenges:
- 多实例分割
- 身份跟踪
- 交互建模
"""
def process_interaction (self, multi_animal_views ):
animal_gaussians = {}
for animal_id in detected_animals:
animal_gaussians[id ] = self .predict(view, mask=id )
interaction_features = self .extract_interaction(animal_gaussians)
return animal_gaussians, interaction_features
3. 与其他模态融合
class MultimodalBEAST3D :
"""
融合其他感官模态
Modalities:
- 嗅觉数据
- 听觉刺激
- 触觉反馈
"""
def encode_multimodal (self, behavior_3d, other_modalities ):
fused_features = self .fusion_layer(
behavior_3d,
audio_features,
tactile_features
)
neural_predictions = self .encoder(fused_features)
return neural_predictions
代码资源 开源代码 ：论文中提到 "Code available at this https URL"（arXiv页面的链接）
diff-gaussian-rasterization (NVIDIA)gsplat (社区实现)3d-gaussian-splatting (原始论文代码)
论文作者提供的跨物种预训练模型
ViT backbone（可从HuggingFace加载）
关键论文引用
arXiv:2606.02937 - BEAST3D (本skill基础)
3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)
NeRF: Representing Scenes as Neural Radiance Fields (ECCV 2020)
DeepLabCut (pose estimation baseline)
LEAP (animal pose estimation)
Neural encoding reviews (Bialek et al.)
实用建议
1. 数据收集
≥4个同步相机
精确相机标定（extrinsic/intrinsic）
背景清晰（便于分割）
6-8个相机（覆盖更全面）
高帧率（≥60fps）
同步神经记录系统
2. 预训练策略
先在无神经数据的多视角视频上预训练
确保novel view synthesis质量良好
再迁移到neural encoding任务
3. 常见问题 Q: 视角数少于4怎么办？
A: 可尝试三角约束，但重建质量下降。建议≥4视角。
Q: 相机标定精度要求？
A: 关键！标定误差直接影响重建质量。建议重投影误差<1 pixel。
Q: 与DeepLabCut结果差异？
A: BEAST3D无需标注但提供3D信息。可先用DeepLabCut在少量数据上验证，再大规模应用BEAST3D。
总结
首次 将3D Gaussian splatting应用于动物行为解决 稀疏视角重建的实验室现实难题实现 无需标注的自监督学习支持 行为→神经的直接编码
大规模行为数据自动处理
运动控制神经机制研究
多动物社交行为分析
实时神经解码应用
Activation : BEAST3D, gaussian splatting, animal behavior analysis, neural encoding, multi-view video, 3D reconstruction, self-supervised 3D, 动物行为分析, 神经编码, 多视角重建, 视角不变性, 稀疏视角重建
