低光照图像增强：全局与局部上下文建模
论文标题：Low Light Image Enhancement via Global and Local Context Modeling
作者单位：Inception Institute of AI, Mohamed bin Zayed University of AI, Monash University, University of California, Merced, Google Research
发表时间：2021年1月
原文链接：https://arxiv.org/pdf/2101.00850
数据集链接：https://data.mendeley.com
当我们用手机或相机在夜晚拍照时，常常会遇到图像模糊、噪声多、颜色不真实等问题。传统的方法如提高ISO、使用长曝光或者闪光灯，虽然可以在一定程度上解决这些问题，但也会带来诸如噪声放大、图像模糊或不自然的光斑等新的问题。那么，是否有更智能、更高效的解决方案呢？
最近，来自Inception Institute of AI、Mohamed bin Zayed University of AI等机构的研究团队提出了一种新的深度学习方法，通过全局和局部上下文建模来增强低光照图像。
问题背景
低光照条件下拍摄的图像往往表现出低可见度、缺乏对比度和颜色鲜艳度。传统方法如提高ISO、长曝光和使用闪光灯虽然可以在一定程度上解决这些问题，但也会带来新的问题。
深度卷积神经网络（CNNs）在图像增强方面表现出色，但现有的数据驱动深度模型依赖于固定的原语来建模依赖关系，并没有充分利用不同空间尺度的上下文信息来解决低光照图像增强问题。这些上下文信息对于推断多种图像增强任务（如局部和全局对比度、亮度和颜色校正）至关重要。
核心设计
为了有效地解决低光照图像增强问题，研究团队提出了一种上下文感知的深度网络。该网络包括两个主要模块：
1. 全局上下文模块
全局上下文模块通过建模空间相关性来寻找整个空间域内的互补线索，从而实现对整体场景设置的调整。例如，为了推断前景对象的全局对比度，我们可能需要参考远处的背景区域。
本算法与最先进方法DeepUPE的视觉比较。我们的算法在局部和全局对比度方面表现更好，并且细节更接近真实。
2. 局部上下文模块
局部上下文模块通过相对较大的感受野捕捉局部上下文。该模块采用密集残差块（Dense Residual Block, DRB），通过密集连接的方式允许感受野快速增长，从而在密集特征采样的同时，避免了对空间信息的损失。
网络架构
图2展示了我们提出的上下文感知深度网络的整体架构。该网络采用一种编码器-解码器的形式，输入为低光照条件下拍摄的图像，输出为增强后的高质量图像。
Figure 2: Overall network architecture for low-light image enhancement. It takes a degraded image (an underexposed photo) as input, and reproduces a well-exposed image as output. At its core, it is an encoder-decoder formulation.
编码器-解码器架构的核心在于逐步下采样输入图像，生成特征并最终将其带到最低分辨率。然后，解码器逐步上采样这些特征并重建输出图像。
图3：展示了提出的上下文感知框架。从左边起，第一张图是基线输出，显示了在保险杠和汽车左下方的伪影。第二张图：引入全局上下文建模后，这些伪影被去除。
实验结果
为了验证我们提出的方法的有效性，我们在三个具有挑战性的数据集上进行了广泛的实验：MIT-Adobe FiveK、LoL和SID。实验结果表明，我们的方法在定量和定性评价上都表现优异。
定量评估
首先，我们在LoL数据集上对比了我们的方法与几种其他算法的性能。结果显示，我们的方法在PSNR上比最近的最佳方法KinD [54] 提升了2.14 dB。
接下来，我们在MIT-Adobe FiveK数据集上评估了我们的算法，并与其他五种方法进行了对比。结果显示，我们的方法在PSNR上比最近的最佳方法DeepUPE [41] 提升了1.41 dB。
| 方法 | HDRNet | W-Box | DR | DPE | DeepUPE | Ours |
|---|---|---|---|---|---|---|
| PSNR | 21.96 | 18.57 | 20.97 | 22.15 | 23.04 | 24.45 |
| SSIM | 0.866 | 0.701 | 0.841 | 0.850 | 0.893 | 0.929 |
最后，我们在SID数据集上的RAW数据上评估了我们的方法。这是一个更具挑战性的案例，因为输入到网络的是RAW图像，输出是增强后的sRGB图像。结果显示，我们的方法在PSNR上比[22] 提升了0.41 dB。
| 方法 | Chen et al. | Maharjan et al. | Zamir et al. | Karadeniz et al. | Ours |
|---|---|---|---|---|---|
| PSNR | 28.96 | 29.17 | 28.84 | 29.29 | 29.70 |
| SSIM | 0.896 | 0.886 | 0.876 | 0.882 | 0.902 |
定性评估
我们展示了我们的算法和最先进方法在三个数据集上的视觉对比。展示了我们的方法和最先进方法在MIT-Adobe FiveK数据集上的结果。可以明显看出，我们的算法生成的图像在视觉上更为愉悦，并且具有更好的局部和全局对比度。