3D 生成重建026-Wonder3D单视图3d生成

3D 生成重建026-Wonder3D单视图3d生成

0 论文工作

在这项工作中，介绍了Wonder3D，这是一种从单视角图像高效生成高保真纹理网格的新方法。最近基于分数蒸馏采样（SDS）的方法已经显示出从二维扩散先验中恢复三维几何的潜力，但它们通常存在耗时的针对每个形状的优化和几何不一致的问题。相反，某些工作通过快速的网络推理直接生成三维信息，但其结果通常质量较低且缺乏几何细节。为了全面提高单视角重建任务的质量、一致性和效率，我们提出了一种跨域扩散模型，该模型生成多视角法线贴图及其对应的彩色图像。为了确保生成的一致性，我们采用了一种多视角跨域注意力机制，该机制促进了跨视角和模态的信息交换。最后，我们引入了一种几何感知的法线融合算法，该算法从多视角二维表示中提取高质量的表面。广泛的评估表明，与以往的工作相比，实现了高质量的重建结果、鲁棒的泛化能力和良好的效率。
我感觉在CRM中的表达不够准确，虽然这wonder3d跟CRM相近，但是他们实际上并不一样，wonder3d是一个多视图+SDF类的方法，LRM等涉及一个额外的范化性。
paper
github

1 论文方法

这篇论文提出了Wonder3D，一种高效生成高质量三维纹理网格的新方法，该方法从单张图像出发，通过跨域扩散模型实现。
Wonder3D旨在解决现有单图像三维重建方法在效率、质量和一致性方面的不足。它并没有直接从单张图像重建三维模型，而是首先利用一个跨域扩散模型，从单视角图像生成多视角一致的法线贴图和对应的彩色图像。 这个跨域扩散模型包含一个域切换器和跨域注意力机制，保证了法线贴图和彩色图像之间的一致性。随后，Wonder3D 使用一种新颖的几何感知法线融合算法，将这些多视角二维信息高效地融合，最终重建出高质量的三维纹理网格。
跨域扩散模型用于多视角信息生成: 这是Wonder3D最主要的创新点。它突破了以往直接从单视图重建三维模型的思路，而是先利用一个跨域扩散模型生成多视图一致的法线贴图和彩色图像。这种方法充分利用了二维扩散模型的优势，避免了直接训练三维扩散模型的困难，并提高了生成质量和鲁棒性。
域切换器和跨域注意力机制: Wonder3D 设计的域切换器允许扩散模型在法线贴图和彩色图像两个域之间切换，而跨域注意力机制则促进了两个域之间信息的交互和融合，保证了多视角图像的一致性，这对于高质量的三维重建至关重要。
几何感知法线融合算法: Wonder3D 提出的几何感知法线融合算法，能够有效地从多视角法线贴图中提取高质量的三维表面，并处理由于噪声或不一致性导致的误差。该算法的几何感知能力提高了重建的精度和细节。
高效性: Wonder3D 在保证重建质量的同时，也显著提高了重建效率，能够在 2-3 分钟内完成从单图像到三维纹理网格的生成，这对于实际应用具有重要意义。

2 实验结果

现在来看我们实际上分不清这种生成多视图+Neus的方法和多视图生成三平面表达到底谁更好。因为二者都存在范化性问题，前者是几何信息是否能很好融入，后在在于生成式还是趋向缺少细节的。