【ISP】ISP的pipeline的几种关键算法

ISP的pipeline中涉及各种图像处理中的关键算法，比如涉及降噪、HDR合成、色调映射、去马赛克、锐化、去雾等任务。下面会出几期文章会逐个详细解释它们的原理、用途及其在图像处理流程中的作用。

1. RawNR（Raw Noise Reduction，RAW 降噪）

用途：对 RAW 图像进行噪声抑制，减少感光元件（CMOS/CCD）带来的噪声，提高信噪比（SNR）。

原理：

• RAW 图像是图像传感器采集的未处理数据，包含大量的噪声，包括 读出噪声、暗电流噪声、光子噪声（泊松噪声） 等。
• 由于 RAW 数据没有经过去马赛克（Demosaic）处理，因此 RawNR 可以在 Bayer 格式下进行降噪，而不会引入颜色污染。
• 典型的 RAW 降噪方法：
  1. 时域降噪（Temporal Filtering）：对多帧图像进行融合，如 TNR（见下文）。
  2. 空域降噪（Spatial Filtering）：如 高斯滤波、双边滤波、非局部均值（NLM）、BM3D。
  3. 深度学习方法：基于 CNN、DNN、Transformers 的去噪网络，如 DnCNN。

优点：

• 在 RAW 处理阶段降噪可减少后续 ISP 处理过程中的噪声传播。
• 在 Bayer 格式下工作，可以避免去马赛克后的颜色污染。

2. YUVNR（YUV Noise Reduction，YUV 降噪）

用途：对 YUV 格式图像进行噪声抑制，通常用于 ISP（图像信号处理器）管线中的后处理阶段。

原理：

• YUV 是常见的视频和图像格式，其中：
  • Y（Luma）：亮度分量，对人眼视觉最敏感。
  • U、V（Chroma）：色度分量，对颜色信息的编码。
• YUV 降噪一般分为：
  1. 亮度降噪（Y 通道）：
     • 使用 双边滤波、引导滤波、非局部均值（NLM）、BM3D 进行平滑处理。
     • 亮度信息是人眼最敏感的部分，因此 Y 通道的降噪需要特别谨慎，避免细节丢失。
  2. 色度降噪（U、V 通道）：
     • 由于人眼对色度分辨率较低，U/V 通道可以使用较强的平滑滤波，如均值滤波、高斯滤波等。
  3. 自适应噪声抑制：
     • 通过分析噪声模型（如高 ISO 噪声特性）调整降噪强度。

与 RawNR 的区别：

• RawNR 在 Bayer 格式下进行，YUVNR 在 YUV 颜色空间中进行。
• RawNR 主要针对传感器噪声，而 YUVNR 主要用于压缩噪声、后期处理降噪。

3. TNR（Temporal Noise Reduction，时域降噪）

用途：在视频或多帧图像处理中，通过时间维度上的信息融合进行降噪。

原理：

• 基本思想：利用相邻帧的相似性，去除随机噪声，同时保留运动物体。
• 主要方法：
  1. 帧间融合（Frame Blending）：对当前帧与前后帧进行加权平均（适用于静态场景）。
  2. 运动补偿（Motion Compensation）：
     • 计算光流或使用块匹配方法估计运动矢量。
     • 只融合无运动区域，避免运动模糊。
  3. AI 去噪（Deep Learning）：
     • 通过 RNN、CNN、Transformers 训练时序降噪模型。

典型应用：

• 监控摄像头（低光场景）、视频编码（减少压缩噪声）、高帧率摄影。

4. HDR Merge（高动态范围合成）

用途：通过合成不同曝光的图像，提升动态范围，避免过曝和欠曝。

原理：

• 多帧曝光合成：
  1. 采集多张不同曝光的照片（如短曝光、中曝光、长曝光）。
  2. 进行对齐（光流、特征点匹配）。
  3. 使用加权融合或 AI 方法合成最终 HDR 图像。
• 单帧 HDR（Deep HDR）：
  • 通过深度学习（如 HDRNet）直接从单张 LDR 图像推测 HDR 结果。

应用：

• 摄影、安防监控、高对比度场景（如日落、夜景）。

5. Tone Mapping（色调映射）

用途：将 HDR 图像（高动态范围）映射到 LDR（低动态范围）以适应显示设备。

原理：

• 局部色调映射（Local Tone Mapping）：
  • 例如 Retinex 算法，通过计算局部对比度进行亮度调整。
• 全局色调映射（Global Tone Mapping）：
  • 使用 Gamma 校正、Log 映射 调整亮度。
• 深度学习色调映射：
  • 训练 CNN/Transformers 学习最佳色调映射策略。

应用：

• HDR 到 SDR 转换，增强照片细节。

6. Demosaic（去马赛克）

用途：将 RAW 图像中的 Bayer 格式数据转换为 RGB 图像。

原理：

• Bayer 插值：
  1. 双线性插值（Bilinear Interpolation）。
  2. 方向感知插值（Edge-aware Demosaicing）。
  3. AI 去马赛克（深度学习）。

应用：

• 相机图像处理、计算机视觉。

7. Sharpen（锐化）

用途：增强图像边缘，提高清晰度。

原理：

• 高通滤波（Laplacian、Sobel）。
• USM（Unsharp Masking）。
• 深度学习锐化（GAN-based、CNN-based）。

应用：

• 摄影后期、图像增强。

8. Dehaze（去雾）

用途：去除图像中的雾霾，提高对比度。

原理：

• 物理模型：
  • 基于大气散射模型估算透射率，去除雾霾。
• 深度学习方法：
  • 使用 CNN 预测去雾后的图像。

应用：

• 远距离摄影、自动驾驶（LiDAR 辅助去雾）。

总结