SLAM/数字图象处理基础

概念

• 视差：相同特征的不同深度估计的偏差

BoW，DBoW，DBoW2的区别是什么

Bag of Words (BoW)、DBoW（Dynamic Bag of Words）和DBoW2是用于图像处理和计算机视觉中的不同特征表示和匹配方法。它们之间的主要区别如下：

1. Bag of Words (BoW)

• 基本概念：BoW是一种特征表示方法，将图像中的局部特征（如SIFT、SURF等）视为“单词”，并通过聚类生成一个视觉词汇表。每个图像被表示为一个特征向量，记录了每个视觉单词在图像中的出现频率。
• 优点：简单易用，能够处理不同大小和形状的图像。
• 缺点：忽略了特征的空间信息，可能导致信息丢失。

2. Dynamic Bag of Words (DBoW)

• 基本概念：DBoW是对BoW的扩展，旨在动态地处理图像特征。它引入了时间和空间的动态性，能够在图像序列或视频中更好地捕捉特征的变化。
• 优点：能够处理动态场景，适用于视频分析和实时应用。
• 缺点：相较于BoW，DBoW的实现和计算复杂度更高。

3. Dynamic Bag of Words 2 (DBoW2)

• 基本概念：DBoW2是DBoW的进一步改进，提供了更高效的特征匹配和更好的性能。它引入了更先进的索引和匹配策略，以提高速度和准确性。
• 优点：在处理大规模数据时，DBoW2能够更快地进行特征匹配，适用于实时应用和大规模图像检索。
• 缺点：实现复杂度较高，需要更多的计算资源。

总结

• BoW：基础的特征表示方法，忽略空间信息。
• DBoW：动态处理特征，适用于视频和动态场景。
• DBoW2：DBoW的改进版本，提供更高效的特征匹配和更好的性能。

这三者在特征表示和处理动态信息的能力上逐步增强，适用于不同的应用场景。

Spatial Pyramid是如何用在BoW中的?

Spatial Pyramid（空间金字塔）是一种用于图像特征表示的方法，常与Bag of Words（BoW）模型结合使用，以提高图像分类和检索的性能。以下是Spatial Pyramid在BoW中的应用方式：

1. 特征提取：首先，从图像中提取局部特征（如SIFT、SURF或ORB特征）。这些特征通常是描述图像局部区域的关键点。

2. 构建视觉词汇表：将提取的局部特征通过聚类（如K-means）聚合成一个视觉词汇表。每个聚类中心代表一个“视觉单词”。

3. 空间金字塔分层：Spatial Pyramid将图像划分为多个层次的网格。例如，第一层可以将图像划分为1个区域，第二层划分为4个区域（2x2），第三层划分为16个区域（4x4）。每一层的区域数量逐渐增加，形成金字塔结构。

4. 区域特征表示：在每一层中，统计每个区域内的视觉单词出现频率，形成区域的特征向量。这意味着每个区域的特征向量会被计算并存储。

5. 特征融合：将不同层次的特征向量进行拼接或加权组合，形成一个全局特征向量。这种方式能够保留空间信息，使得模型在分类时能够考虑到特征的空间分布。

6. 分类或检索：最后，使用这些全局特征向量进行分类（如使用支持向量机SVM）或图像检索。

通过引入Spatial Pyramid，BoW模型能够更好地捕捉图像中的空间信息，从而提高分类的准确性和鲁棒性。

morphological dilation

形态学膨胀（morphological dilation）是图像处理中的一种基本操作，主要用于处理二值图像或灰度图像。它通过扩展图像中的前景像素（通常是白色或亮色像素）来增加物体的大小或填补物体内部的小孔。

形态学膨胀的基本原理：

• 膨胀操作使用一个称为“结构元素”（structuring element）的形状来扫描图像。结构元素可以是简单的形状，如方形、圆形或十字形。
• 在膨胀过程中，结构元素的每个像素都会与图像中的前景像素进行比较。如果结构元素的任何部分与前景像素重叠，则该位置的像素会被设置为前景像素。

举个例子：

假设我们有一个简单的二值图像，如下所示（1表示前景，0表示背景）：

0 0 0 0 0
0 1 1 0 0
0 1 1 0 0
0 0 0 0 0

如果我们使用一个3x3的方形结构元素进行膨胀，结构元素如下：

1 1 1
1 1 1
1 1 1

进行膨胀操作后，结果将是：

0 1 1 1 0
1 1 1 1 0
1 1 1 1 0
0 1 1 1 0

在这个例子中，原本的物体（前景像素）被扩展了，填补了周围的空白区域。这种操作可以用于消除小的噪声、连接相邻的物体或增强物体的特征。

object pose estimation vs visual localization

Object pose estimation和visual localization是计算机视觉领域中的两个相关但不同的任务。

1. Object Pose Estimation（物体姿态估计）：

   • 目标是确定物体在三维空间中的位置和方向（姿态）。这通常涉及到识别物体的关键点或特征，并计算出物体相对于相机的旋转和平移。
   • 物体姿态估计通常用于增强现实、机器人抓取、自动驾驶等应用中，帮助系统理解物体的空间关系。

2. Visual Localization（视觉定位）：

   • 目标是确定相机在环境中的位置和方向。换句话说，视觉定位是通过分析图像来推断相机的位姿（位置和姿态）。
   • 视觉定位通常用于导航、地图构建和自主移动等任务，帮助系统了解其在环境中的位置。

总结来说，物体姿态估计关注的是物体本身的姿态，而视觉定位关注的是相机在环境中的位置和姿态。两者可以结合使用，例如在一个机器人系统中，机器人需要知道自己在环境中的位置，同时也需要知道周围物体的姿态。

五点法

五点法（Five-Point Algorithm）是一种用于从一组对应的点对中恢复相机之间相对位姿（即旋转和平移）的算法，通常用于立体视觉和结构从运动（SfM）等应用中。以下是使用五点法恢复图像帧相对位姿的基本步骤：

1. 收集对应点

首先，需要在两幅图像中找到一组对应的特征点。这些特征点可以通过特征检测和匹配算法（如SIFT、SURF、ORB等）获得。

2. 计算基础矩阵

使用对应点计算基础矩阵（Fundamental Matrix）F。基础矩阵是一个3x3的矩阵，它描述了两个相机之间的几何关系。可以使用八点法（Eight-Point Algorithm）或其他方法来计算基础矩阵。

3. 从基础矩阵计算本质矩阵

如果已知相机的内参（相机矩阵K），可以将基础矩阵转换为本质矩阵（Essential Matrix）E：
[ E = K’^T F K ]
其中，K和K'分别是两幅图像的相机内参矩阵。

4. 分解本质矩阵

使用本质矩阵E进行分解，得到相机的相对位姿（旋转和平移）。本质矩阵的分解可以通过奇异值分解（SVD）来实现。具体步骤如下：

1. 进行SVD分解：
   [ E = U \Sigma V^T ]

2. 计算旋转矩阵R和平移向量t：

   • 旋转矩阵有两个可能的解：
     [ R_1 = U R_z V^T ]
     [ R_2 = U R_z^T V^T ]
   • 其中，R_z是一个特定的旋转矩阵，通常为：
     [
     R_z = \begin{bmatrix}
     0 & -1 & 0 \
     1 & 0 & 0 \
     0 & 0 & 1
     \end{bmatrix}
     ]
   • 平移向量t可以通过U的第三列得到。

5. 选择正确的解

由于五点法会产生多个解（通常是四个），需要根据额外的信息（如点的三维重建、视图的几何关系等）来选择正确的旋转和平移组合。

6. 验证和优化

最后，可以使用非线性优化方法（如BA，Bundle Adjustment）来进一步优化相机位姿和三维点的位置，以提高重建的精度。

总结

五点法的核心在于通过基础矩阵或本质矩阵的计算与分解，恢复相机之间的相对位姿。它在计算机视觉中广泛应用，尤其是在立体视觉和三维重建任务中。

SLAM中，为什么要对IMU估计重力向量?

姿态估计：IMU通常包含加速度计和陀螺仪。加速度计可以测量线性加速度，但在静止或匀速运动时，它也会受到重力的影响。通过估计重力向量，可以从加速度计的测量中分离出重力分量，从而更准确地估计设备的姿态（即方向）。