当前位置：首页 > article >正文

近期两篇NeRF/3DGS-based SLAM方案赏析：TS-SLAM and MBA-SLAM

article 2024/11/22 19:55:02

原文链接：近期两篇NeRF/3DGS-based SLAM方案赏析：TS-SLAM and MBA-SLAM

paper1：TS-SLAM: 基于轨迹平滑约束优化的神经辐射场SLAM方法

导读

本文提出了TS-SLAM，一种改进的基于神经辐射场（NeRF）的SLAM方法，通过引入轨迹平滑约束提高相机轨迹估计的准确性和重建地图的质量。该方法利用均匀三次B样条（B-splines）对相机轨迹进行建模，通过局部控制点优化确保轨迹的连续性和平滑性，并引入动态正则化约束相机的加速度和角加速度，结合物理动力学先验进一步增强轨迹的物理合理性。系统设计了滑动窗口优化策略，对轨迹和地图分步调整，从局部到全局提升一致性。实验结果表明，TS-SLAM在TUM RGBD、ScanNet和NeuralRGBD数据集上相较现有方法显著提升了轨迹精度和重建质量，同时保持了较高的计算效率，展现出其在视觉SLAM领域的潜力。

论文信息

标题：Optimizing NeRF-based SLAM with Trajectory Smoothness Constraints
作者：Yicheng He, Guangcheng Chen, and Hong Zhang
论文链接：https://arxiv.org/pdf/2410.08780

动机(Motivation)

本文的动机是解决当前基于神经辐射场（NeRF）的SLAM方法中相机轨迹估计存在的“跳跃性”和“非物理性”问题，这种问题不仅会降低轨迹的精度，还会对后续的地图重建质量产生不利影响。在现有方法中，相机轨迹的估计主要依赖隐式的地图表示约束，缺乏对轨迹平滑性和连续性的直接控制，从而导致局部轨迹不够自然且不利于实际应用（如导航和路径规划）。为此，本文提出通过引入轨迹平滑约束（基于B样条表示）和动态正则化来优化轨迹的平滑性和物理合理性，以提高相机定位的精度和重建的场景质量。

创新点

系统pipeline

基于B样条的轨迹平滑约束：
- 引入均匀三次B样条（B-splines）表示相机轨迹，用控制点对轨迹进行建模。
- 利用B样条的可微性和局部控制特性，实现轨迹的平滑性和连续性，避免传统方法中因隐式约束导致的轨迹跳跃问题。
动态正则化约束：
- 通过引入物理动力学先验，对相机轨迹的加速度和角加速度施加约束。
- 这种正则化限制了轨迹中的非物理运动，确保轨迹符合实际动力学特性，从而生成更真实的轨迹。
滑动窗口局部调整策略：
- 设计了一种滑动窗口的局部捆绑调整（Local Bundle Adjustment）方法，在小范围内逐步优化控制点。
- 通过粗到细的优化策略，稳定控制点的学习过程，并减少新增控制点对全局调整的负面影响。
结合全局优化的体系设计：
- 在局部优化的基础上，通过全局捆绑调整（Global Bundle Adjustment）对所有关键帧的控制点和地图进行联合优化，进一步提高轨迹和地图的一致性。
可拓展性和通用性：
- 该方法的轨迹平滑约束和正则化策略无需修改NeRF的场景表示和重建损失，因此可以无缝集成到现有的任何基于NeRF的SLAM系统中。

实验仿真结果

paper2：MBA-SLAM: 针对运动模糊的稠密视觉SLAM框架

导读

本文提出了MBA-SLAM（Motion Blur Aware SLAM），一种面向运动模糊场景的稠密视觉SLAM框架。通过引入运动模糊感知的跟踪器和基于辐射场（NeRF）或3D高斯分布（3DGS）的建图器，该方法能够在图像捕获期间建模摄像机运动轨迹，从而有效应对因运动模糊导致的定位和地图重建质量下降的问题。实验结果表明，MBA-SLAM在处理包含运动模糊的输入数据时，在摄像机定位和3D场景重建方面均超越了现有的最先进方法，同时对清晰数据也具有优秀的适应性。

论文信息

标题：MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation
作者：Peng Wang, Lingzhe Zhao, Yin Zhang, Shiyu Zhao, Peidong Liu†
论文链接：https://arxiv.org/pdf/2411.08279
项目地址：https://github.com/WU-CVGL/MBA-SLAM

动机(Motivation)

本文的动机在于解决现有稠密视觉SLAM方法在处理运动模糊图像时面临的性能下降问题。随着神经辐射场（NeRF）和3D高斯分布（3DGS）等新兴3D场景表示方法的广泛应用，SLAM系统在高质量输入数据上的表现得到了显著提升。然而，在实际场景中，摄像机经常因快速运动或低光照条件下的长曝光而产生运动模糊，导致：

定位准确性下降：传统SLAM依赖图像的光度一致性来估计摄像机位姿，而运动模糊破坏了这一假设，使得定位误差增加。
地图重建质量下降：多视角图像的特征匹配因运动模糊而变得不可靠，从而导致3D几何信息错误和地图重建的不一致性。

为了解决上述挑战，本文提出了一个运动模糊感知的SLAM框架，专门建模运动模糊的图像形成过程，同时结合NeRF或3DGS以实现高质量的3D场景表示和摄像机轨迹估计。此方法旨在提高SLAM系统在运动模糊输入下的鲁棒性和精度。

创新点

系统pipeline

运动模糊感知的追踪器：提出了一种基于物理运动模糊图像形成模型的追踪器，通过建模图像曝光期间摄像机的运动轨迹，在定位阶段主动补偿运动模糊的影响。这显著提升了在运动模糊场景中的摄像机轨迹估计精度。
新型SLAM pipeline：整合了运动模糊感知的追踪器和辐射场（NeRF）或3D高斯分布（3DGS）为核心的建图模块，形成了一个鲁棒的、稠密的RGB-D SLAM管线，可以应对运动模糊和清晰图像的多样场景。
动态关键帧渲染与再模糊机制：在追踪过程中，从3D场景表示生成虚拟清晰图像，并通过摄像机运动轨迹对其再模糊以与输入图像匹配，从而增强光度一致性损失优化的鲁棒性。
广泛的实验验证：通过在合成和真实数据集上的实验，证明了该方法在运动模糊场景和清晰图像场景中的优越性能，超越了现有最先进的NeRF和3DGS SLAM方法。
高效实现：在NeRF实现中引入了基于三平面的高效表示，提高了训练效率；在3DGS实现中对高斯核的管理进行了优化，支持实时性能。