2024 ECCV | DualDn: 通过可微ISP进行双域去噪
文章标题：《DualDn: Dual-domain Denoising via Differentiable ISP》
论文链接： DualDn
代码链接： DualDnCode
本文收录于2024ECCV，是上海AI Lab、浙江大学、香港中文大学（薛天帆等人）联合发布的图像降噪方面的研究【薛老师2024年贡献了两篇和ISP挂钩的论文，均是跟上海AI Lab合作的，另一篇详见: AdaptiveISP】
Abstract
图像去噪是相机ISP (Image Signal Processing)管道中的重要组成部分。向ISP管道中注入去噪器有两个经典的方式：把去噪器直接用于捕捉的raw帧图（raw域）或者把去噪器用于ISP输出的RGB图像（sRGB域）。然而，两类方法都有局限。
- raw域去噪后的残留噪声会被ISP管道随后的处理模块放大；
- 在sRGB域很难处理随空间位置变换的噪声，因为在该域中只能看到被ISP扭曲过的噪声（噪声变得复合了）。
因此，大多数raw/sRGB域去噪的工作仅适用于特定的噪声分布和ISP配置。
为了解决这个问题，本文提出了DualDN，一个新颖的基于学习的双域去噪器。与之前单域去噪工作不同，DualDn包含两个去噪网络，一个处理raw域噪声，一个处理sRGB域噪声。raw域去噪适配于传感器噪声和随空间位置变换的噪声，sRGB域去噪适配于ISP导致的噪声并且可以去除经过ISP放大的残余噪声。两个去噪网络都和一个可微ISP相连，该ISP通过端到端训练并且会在推理阶段被丢弃。基于这个设计，DualDn达到了可观的泛化性，优于其他大多数的基于学习的去噪方法，因为DualDn可以适配不同的不可见噪声、ISP参数、甚至是新颖的ISP管道。实验结果显示，DualDn达到了SOTA性能，并且可以适配不同的去噪架构。除此以外，DualDn可以在不用重复训练的前提下，被用作真实相机的即插即用去噪模块，效果甚至优于商业相机的在线去噪算法。
Introduction
引言中有一些很有意思的总结和实验现象，整合表述如下：
- 近年来的去噪方法发展得很好，但是泛化性能都不令人满意，遇到不同的相机模型/噪声分布往往就无法解决了。有些训练模式被提出以解决泛化性，但是要么处理得很慢，要么效果不如经典的去噪网络；
- 基于RAW域的去噪模型可以很好的泛化不同noise分布，因为学术界有一些噪声模型可以用来估计噪声分布（sRGB域的噪声被isp扭曲了，无法用这些模型估计）。但是，RAW域去噪留下的残余噪声/伪像在经过isp后往往会导致次优的RGB图像。例如，去马赛克操作经常在图像边缘产生高频伪像，色调映射会放大暗区的残余噪声。除此以外，由于isp行为对RAW域去噪算法是未知的，因此更换isp管道将导致算法性能骤降。
- 基于RGB域的去噪模型可以很好的泛化不同ISP。因为该类模型只学习去噪前的RGB图像和去噪后的RGB图像的对应关系，不关心isp管道。但是，大部分的基于RGB域的去噪网络都是用一个单一的噪声分布训练的。