笔记目录
- 1. 基本信息
- 2. 理解（个人初步理解，随时更改）
- 3. 精读
-
- Summary
- Research Objective(s)
- Background / Problem Statement
- Method(s)
- Evaluation
- Conclusion
- References
1. 基本信息
- 题目：GauHuman: Articulated Gaussian Splatting from Monocular Human Videos
- 时间：2023.12.5
- 发表：CVPR2024
- 机构：S-Lab, Nanyang Technological University
- 作者：Shoukang Hu, Ziwei Liu
- 链接直达：Code/paper/Project
- 关键词：3D human modelling, 3DGS, Monocular video, 3D Reconstruction
- 概括：GauHuman在单目视频的条件下，通过快速训练(1～2分钟)和实时渲染(189帧/秒)对三维人体进行建模。
- 摘要翻译：我们提出了 GauHuman，这是一种采用Gaussian Splatting的 3D 人体模型，可实现快速训练（1∼2 分钟）和实时渲染（高达 189 FPS），而现有的基于 NeRF 的隐式表示建模框架需要数小时的训练和数秒的时间每帧渲染的数量。具体来说，GauHuman 在规范空间中对GS进行编码，并通过线性混合蒙皮 (LBS) 将 3D 高斯从规范空间转换到姿势空间，其中有效的姿势和 LBS 细化模块旨在以可忽略的计算成本学习 3D 人体的精细细节。此外，为了实现 GauHuman 的快速优化，我们使用 3D 人类先验来初始化和修剪 3DGS，同时通过 KL 散度指导进行分裂/克隆，以及一种新颖的合并操作以进一步加速。在 ZJU_Mocap 和 MonoCap 数据集上的大量实验表明，GauHuman 通过快速训练和实时渲染速度，在定量和定性上实现了最先进的性能。值得注意的是，在不牺牲渲染质量的情况下，GauHuman 可以使用 ~13k 3DGS快速建模 3D 人类performer。
2. 理解（个人初步理解，随时更改）
- 干了一件什么事：
针对人体3D建模，实现快速的训练+实时渲染，只需要输入单目视频，重建出一个4D的人体。
- pipeline（如图）：
首先从 SMPL 顶点初始化 3D 高斯位置
