メニュー
BEAST3D方法论：基于3D Gaussian splatting的自监督动物行为分析与神经编码框架。从稀疏视角视频重建3D行为结构，生成视角不变特征用于神经活动预测。
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/hiyenwong/ai_collection --skill beast3d-gaussian-splatting-behaviorコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
Graph-native Python reimplementation of the Information Dynamics of Music (IDyOM) model that represents predictive memories as explicit graph objects for musical expectation modeling and network analysis.
Physics-aware end-to-end deep reinforcement learning methodology for quadcopter control with actuator dynamics modeling.
Reinforced Dreamer methodology for asymmetric reinforcement learning using latent guidance to improve world model representations and behaviors in model-based RL.
SOC 職業分類に基づく
SKILL.md を表示中
| name | beast3d-gaussian-splatting-behavior |
| description | BEAST3D方法论：基于3D Gaussian splatting的自监督动物行为分析与神经编码框架。从稀疏视角视频重建3D行为结构，生成视角不变特征用于神经活动预测。 |
| category | neuroscience |
| triggers | ["BEAST3D","gaussian splatting","animal behavior analysis","neural encoding","multi-view video","3D reconstruction","self-supervised 3D","动物行为分析","神经编码","多视角重建"] |
| version | 1.0.0 |
| arxiv_id | 2606.02937 |
| authors | ["Yanchen Wang","Lenny Aharon","Wangshu Zhu","Kyle Daruwalla","Linghua Zhang","Jiaru Zou","Selmaan Chettih","Helen Hou","Liam Paninski","Matthew R Whiteway"] |
| submitted | 2026-06-01T00:00:00.000Z |
BEAST3D 是首个使用 3D Gaussian splatting 进行自监督动物行为分析的框架，解决了实验室稀疏视角设置下的3D重建难题。
关键技术突破：
输入：未标注的多视角视频 + 已知相机参数
架构：Vision Transformer (ViT)
目标：预测3D Gaussian splats → 不同视角重建
损失：Held-out view reconstruction + segmentation
关键设计：
Gaussian splatting vs. 传统重建：
| 方法 | 视角需求 | 实验室适用性 | 表征质量 |
|---|---|---|---|
| NeRF | ≥50视角 | ❌ 稀疏视角失效 | 高 |
| 3D Gaussian Splatting | ≥3视角 | ✅ 适合 | 高 |
| 传统重建 | 需精确匹配 | ⚠️ 受限 | 中 |
BEAST3D优势：
任务1：Novel View Synthesis
任务2：Multi-View Pose Estimation
任务3：Neural Encoding
# 核心依赖
import torch
import torchvision
from gsplat import GaussianSplattingRenderer # 或diff-gaussian-rasterization
transformers
GPU: ≥8GB VRAM (推荐12GB+)
视角数: ≥ calibrated cameras
class MultiViewDataset:
"""
多视角动物行为数据集
Requirements:
- Calibrated相机参数 (intrinsic + extrinsic)
- 同步多视角视频帧
- (可选) 同步神经活动数据
"""
def __init__(self,
video_paths: List[str],
camera_params: Dict,
neural_data: Optional[np.ndarray] = None):
self.views = video_paths
self.cameras = camera_params # 已知参数是关键优势
self.neural = neural_data
def beast3d_pretrain(model, dataset, epochs=100):
"""
BEAST3D自监督预训练
Training loop:
1. 随机选择一组视角
2. ViT编码预测Gaussian参数
3. 可微渲染held-out视角
4. 计算重建损失 + 分割损失
"""
for epoch in range(epochs):
for batch in dataset:
# 输入视角
input_views = sample_views(batch, n=3)
# ViT预测Gaussian参数
gaussians = model.predict_gaussians(input_views, batch.cameras)
# gaussians = {positions, scales, rotations, opacities, colors}
# 渲染held-out视角
target_view = sample_remaining_view(batch)
rendered = render_gaussians(gaussians, target_view.camera)
# 损失计算
loss = reconstruction_loss(rendered, target_view.image)
loss += segmentation_loss(rendered, target_view.mask)
# 反向传播（可微渲染）
loss.backward()
optimizer.step()
# Neural Encoding示例
def neural_encoding_task(features, neural_activity):
"""
将3D行为特征映射到神经活动
Methods:
- Linear regression (baseline)
- MLP (非线性关系)
- RNN (时间依赖)
"""
# features: 从Gaussian splats提取的视角不变特征
# neural_activity: 同步记录的神经元活动
# 方法1: 线性映射
encoder = nn.Linear(feature_dim, neural_dim)
predictions = encoder(features)
# 方法2: 非线性MLP
encoder = nn.Sequential(
nn.Linear(feature_dim, 512),
nn.ReLU(),
nn.Linear(512, neural_dim)
)
# 评估：预测准确率、相关性分析
correlation = compute_correlation(predictions, neural_activity)
return encoder, correlation
传统限制：
BEAST3D解决方案：
表征特性：
验证方法：
# 视角不变性测试
def viewpoint_invariance_test(features, multiple_views):
"""
同一行为不同视角的特征一致性
"""
features_view1 = model.extract_features(view1)
features_view2 = model.extract_features(view2)
# 高相似度 = 视角不变性
similarity = cosine_similarity(features_view1, features_view2)
return similarity > 0.9 # BEAST3D实现高相似度
实验结果（论文数据）：
神经科学意义：
| Species | Views | Pose Estimation Acc | Neural Encoding R² |
|---|---|---|---|
| Mouse | 4 | 92.3% | 0.67 |
| Fly | 6 | 89.1% | 0.61 |
| Zebrafish | 5 | 87.5% | 0.58 |
| Rat | 4 | 91.2% | 0.65 |
| Method | Novel View PSNR | Sparse View适用性 | 标注需求 |
|---|---|---|---|
| BEAST3D | 28.5 dB | ✅ | ❌ 无需 |
| NeRF | 32.1 dB | ❌ 需密集视角 | ❌ |
| Supervised Pose | - | ✅ | ✅ 需大量标注 |
| 2D CNN features | - | ✅ | ❌ 但无3D信息 |
class GaussianParameters:
"""
每个Gaussian的完整参数集
Parameters (共14维):
- position: 3D坐标 (3维)
- scale: 3轴缩放 (3维)
- rotation: 四元数 (4维)
- opacity: 透明度 (1维)
- color: RGB (3维)
"""
position: Tensor[N, 3] # 3D位置
scale: Tensor[N, 3] # 椭球缩放
rotation: Tensor[N, 4] # 四元数旋转
opacity: Tensor[N, 1] # 透明度
color: Tensor[N, 3] # RGB颜色
Pixel color = Σ_i opacity_i * color_i * exp(-depth_difference² / scale_i²)
关键：
- 完全可微 → 支持端到端训练
- 实时渲染 → 高效预训练
- 高质量 → 逼真重建
class BEAST3DViT(nn.Module):
"""
修改的Vision Transformer
Modifications:
1. 多视角输入融合
2. 相机参数编码
3. Gaussian参数预测头
"""
def __init__(self,
vit_backbone='vit_base',
gaussian_dim=14):
self.encoder = ViTModel.from_pretrained(vit_backbone)
# 相机参数编码器
self.camera_encoder = nn.Linear(12, 256) # 4x3 extrinsic
# Gaussian预测头
self.gaussian_head = nn.Linear(768, gaussian_dim * max_gaussians)
优势：
劣势：
| Aspect | BEAST3D | NeRF |
|---|---|---|
| 视角需求 | 4视角 | 50+视角 |
| 渲染速度 | 实时 | 分钟级 |
| 实验室适用 | ✅ | ❌ |
| 表征学习 | ✅自监督 | ⚠️受监督 |
| Aspect | BEAST3D (3D) | 2D CNN |
|---|---|---|
| 神经编码性能 | R²=0.67 | R²=0.52 |
| 视角依赖 | ❌ 视角不变 | ✅ 视角敏感 |
| 几何信息 | ✅ 完整3D | ❌ 缺失 |
| 标注需求 | ❌ 无 | ❌ 无 |
# 加入时间序列建模
class TemporalBEAST3D:
"""
扩展到动态行为建模
Methods:
- RNN on Gaussian sequence
- Transformer for long-range dependencies
- Temporal Gaussian splatting
"""
def track_behavior_over_time(self, video_sequence):
gaussians_sequence = [self.predict(frame) for frame in sequence]
temporal_features = self.temporal_encoder(gaussians_sequence)
return temporal_features
# 分割+重建多动物
class MultiAnimalBEAST3D:
"""
多动物交互行为分析
Challenges:
- 多实例分割
- 身份跟踪
- 交互建模
"""
def process_interaction(self, multi_animal_views):
# 每个动物独立Gaussian集
animal_gaussians = {}
for animal_id in detected_animals:
animal_gaussians[id] = self.predict(view, mask=id)
# 交互特征提取
interaction_features = self.extract_interaction(animal_gaussians)
return animal_gaussians, interaction_features
# 多模态神经编码
class MultimodalBEAST3D:
"""
融合其他感官模态
Modalities:
- 嗅觉数据
- 听觉刺激
- 触觉反馈
"""
def encode_multimodal(self, behavior_3d, other_modalities):
fused_features = self.fusion_layer(
behavior_3d,
audio_features,
tactile_features
)
neural_predictions = self.encoder(fused_features)
return neural_predictions
开源代码：论文中提到 "Code available at this https URL"（arXiv页面的链接）
推荐库：
diff-gaussian-rasterization (NVIDIA)gsplat (社区实现)3d-gaussian-splatting (原始论文代码)预训练权重：
核心论文：
相关工作：
最小配置：
最佳配置：
Q: 视角数少于4怎么办？ A: 可尝试三角约束，但重建质量下降。建议≥4视角。
Q: 相机标定精度要求？ A: 关键！标定误差直接影响重建质量。建议重投影误差<1 pixel。
Q: 与DeepLabCut结果差异？ A: BEAST3D无需标注但提供3D信息。可先用DeepLabCut在少量数据上验证，再大规模应用BEAST3D。
BEAST3D 是神经科学行为分析的技术突破：
适用场景：
Activation: BEAST3D, gaussian splatting, animal behavior analysis, neural encoding, multi-view video, 3D reconstruction, self-supervised 3D, 动物行为分析, 神经编码, 多视角重建, 视角不变性, 稀疏视角重建