面向多任务的夜间雾度成像增强器，用于视觉驱动测量系统（Python实现）

         突出目标检测 （SOD） 在视觉驱动测量系统 （VMS） 中起着至关重要的作用，有助于检测和分割图像中的关键视觉元素。然而，不利的成像条件（如白天的雾霾、弱光和夜间的雾霾）会严重降低图像质量，并使 SOD 过程复杂化。为了应对这些挑战，我们提出了一种面向多任务的夜间雾霾成像增强器 （MToIE），它集成了三个任务：白天去雾、弱光增强和夜间去雾。MToIE 包含两个关键的创新组件：首先，该网络采用面向任务的节点学习机制来处理三种特定的降级类型：白天雾霾、弱光和夜间雾霾条件，嵌入式自注意力模块增强了其在夜间成像中的性能。此外，多感受野增强模块通过三个平行的深度可分离卷积分支，具有不同的膨胀率，高效提取多尺度特征，以最小的计算开销捕获全面的空间信息。为了确保最佳的图像重建质量和视觉特性，我们建议使用混合损失函数。对不同类型的天气/成像条件的广泛实验表明，MToIE 超越了现有方法，显著提高了视觉系统在各种成像场景中的准确性和可靠性。

      摘要：

      显著目标检测（SOD）在视觉驱动测量系统（VMS）中起着至关重要的作用，它有助于检测和分割图像中的关键视觉元素。然而，诸如白天雾霾、低光照以及夜间雾霾等恶劣成像条件会严重降低图像质量，使显著目标检测过程变得复杂。为应对这些挑战，我们提出了一种面向多任务的夜间雾度成像增强器（MToIE），它集成了白天去雾、低光照增强和夜间去雾三项任务。MToIE 包含两个关键创新组件：其一，该网络采用面向任务的节点学习机制，来处理白天雾霾、低光照和夜间雾霾这三种特定的退化类型，并且嵌入了自注意力模块，以提升其在夜间成像时的性能。其二，多感受野增强模块通过三个具有不同膨胀率的并行深度可分离卷积分支，有效提取多尺度特征，能够以最小的计算开销捕获全面的空间信息。为确保最佳的图像重建质量和视觉特性，我们提出了一种混合损失函数。在不同类型的天气 / 成像条件下进行的大量实验表明，MToIE 优于现有方法，显著提高了视觉系统在各种成像场景中的准确性和可靠性。

一、引言

         为解决这些挑战，研究人员正在研究非学习和基于学习的方法来提升退化图像的质量。传统的非学习图像恢复方法主要依赖直方图均衡化 以及 Retinex 方法，这些方法通过调整亮度和对比度来提高图像质量。然而，这些方法常常会导致噪声或颜色失真，这可能会损害工业成像系统的完整性。在图像去雾方面，基于暗通道先验（DCP）的经典方法在白天条件下有效，但在面对复杂的夜间场景时会遇到限制。为了进一步增强夜间雾霾条件下的图像恢复效果，研究人员对 Retinex 和 DCP 模型进行了优化和改进，并提出了新的基于物理原理的成像模型，这些模型专门用于处理夜间雾霾场景的复杂性。

 图 1 展示了白天成像场景，上半部分和下半部分都呈现了不同雾霾密度对物体可见性的影响。在这种场景中，显著目标检测（SOD）作为一个通用的预处理模块在带有雾霾的图像上运行。它会在本地对显著数据进行筛选，也就是识别和提取出图像中视觉上突出的关键物体信息，然后将这些经过筛选的显著数据传输到云端，以供视觉驱动测量系统（VMS）使用，从而辅助 VMS 进行诸如质量控制、安全监测等后续的分析和处理工作 。

       光照减弱通过限制信号强度加剧了这一问题，这就需要更长的曝光时间或更高的传感器增益，而这会产生额外的电子噪声 [4]。这些环境因素要求视觉驱动测量系统（VMS）具备强大的性能，能够在保持测量保真度的同时，有效地对光衰减、大气散射以及传感器引起的伪影进行建模和补偿。

        为解决这些挑战，研究人员正在研究非学习和学习方法，以提升退化图像的质量。传统的非学习图像恢复方法主要依赖直方图均衡化 [5] 和 Retinex 方法 [6 - 8]，这些方法通过调整亮度和对比度来提高图像质量。然而，这些方法常常会导致噪声或颜色失真，这可能会损害工业成像系统的完整性。在图像去雾方面，基于暗通道先验（DCP）的经典方法 [9, 10] 在白天条件下有效，但在面对复杂的夜间场景时会遇到限制。为了进一步增强夜间雾霾条件下的图像恢复效果，研究人员对 Retinex 和 DCP 模型进行了优化和改进，并提出了新的基于物理原理的成像模型 [11 - 13]，这些模型专门用于处理夜间雾霾场景的复杂性。

        基于学习的方法因其强大的特征学习能力，在图像恢复任务中得到广泛应用。例如，基于卷积神经网络（CNN）的方法 [14] 通过从大规模数据集中学习不同的特征，在各种任务中显著提高了低光照或雾霾图像的质量。注意力机制可以动态地聚焦于重要特征，并增强关键信息的提取与处理，因此在低级视觉任务中表现出色 [15 - 17]。生成对抗网络被用于无监督学习任务 [18, 19]，拓展了低光照场景下图像处理的边界。扩散模型 [20] 通过迭代去噪过程生成高质量图像，在低光照图像增强方面取得了成功。为了结合传统方法和基于学习的方法的优势，模型引导的学习方法 [21 - 23] 逐渐被用于恢复退化图像，并取得了令人满意的视觉效果。然而，它们主要是为单一任务设计的，无法同时处理图像去雾（ID）、低光照图像增强（LLIE）或夜间雾度图像增强（NHIE）这三种任务。为应对恶劣成像条件带来的挑战，我们提出了一种面向多任务的夜间雾度图像增强框架（MToIE），该框架可用于处理三种退化任务：图像去雾（ID）、低光照图像增强（LLIE）和夜间雾度图像增强（NHIE）。该框架集成了多任务学习机制、自注意力（SA）模块和多感受野增强（MRFE）模块，能在复杂的退化场景中有效提升图像质量。通过采用特定任务的节点学习机制，并有效利用白天雾霾、低光照和夜间雾霾数据集进行训练，MToIE 学习了不同成像条件下的常见视觉模式（如边缘轮廓和纹理信息）以及特定的退化因素（如低光照环境中的亮度损失和噪声增强，以及雾霾导致的对比度降低和散射模糊），对三种不同类型的退化进行了高效建模。此外，我们设计了一种混合损失函数来平衡图像重建质量和视觉特征。这项工作的主要贡献总结如下：