论文速览 Arxiv 2023 | DMV3D: 单阶段3D生成方法
注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文
论文速览 Arxiv 2023 | DMV3D: DENOISING MULTI-VIEW DIFFUSION USING 3D LARGE RECONSTRUCTION MODEL 使用3D大重建模型来去噪多视图扩散
论文原文：https://arxiv.org/pdf/2311.09217.pdf (2023年11月15日)
项目主页: https://justimyhxu.github.io/projects/dmv3d/
本文提出了一种新颖的单阶段3D生成方法DMV3D。该方法使用基于transformer的大型3D重建模型来降噪多视角扩散,实现快速3D生成。
方法概述
- 基于多视角图像扩散模型,将3D NeRF重建和渲染集成到降噪器中,以end-to-end的方式训练,避免了独立训练3D NeRF编码器(两阶段模型)和烦琐的每件资产优化(SDS方法)。
- 扩散过程:每张图片独立扩散,噪声等级由α控制。
- 降噪过程:使用3D重建模块E从噪声多视角图像重建干净3D表征S,使用可微渲染模块R在特定视角c渲染降噪图像。
</