PromptGIP：Unifying lmage Processing as Visual Prompting Question Answering

“Unifying Image Processing as Visual Prompting Question Answering” 文章提出了一种名为 PromptGIP 的通用模型，将图像处理任务统一为视觉提示问答范式，在多个图像处理任务上展现出良好性能，为通用图像处理提供了新的思路和方法。

conference：2024 ICLR
paper：https://arxiv.org/pdf/2310.10513v2
code：https://github.com/lyh-18/PromptGIP

1. 研究背景与目的

1.1 图像处理任务的重要性与传统方法的局限

图像处理涵盖图像恢复、增强、特征提取等，是计算机视觉基础任务，用于提升图像质量和提取特征。传统方法需针对不同任务开发特定模型，如SRCNN用于超分辨率、DnCNN用于去噪等，但泛化能力有限。目前的 All-in-one 恢复方法虽能处理多种恢复任务，但在生成替代表示（如风格化图像或图像边缘）方面存在不足。

1.2 大模型发展趋势与视觉领域的探索

大模型在自然语言处理领域成功统一多种任务，计算机视觉领域也有类似趋势，如Meta AI的SAM用于图像分割，通过大规模预训练实现零样本泛化。然而，当前大模型多关注高级视觉任务，低级视觉任务受关注较少。

1.3 研究目的

提出PromptGIP模型，统一多种图像处理任务，包括图像恢复、增强、特征提取等，采用视觉提示问答范式，处理不同输出域任务，探索模型泛化能力，为通用图像处理提供新方法。

2. 研究方法

2.1 图像作为视觉问答

受NLP提示学习启发，将图像处理统一为视觉提示问答范式。模型推理时，依据输入输出图像对（作为任务提示）处理新输入图像生成预测输出。例如，输入“雨天 - 无雨”图像对提示，模型对目标输入图像执行去雨操作；若提示答案与图像边缘相关，模型对查询图像进行边缘检测。

2.2 掩码视觉提示范式

采用掩码自动编码方法（MAE），训练时对答案图像随机掩码，促使模型从无掩码部分重建。模型训练于包含不同图像处理目标（如恢复、增强、边缘检测）的数据集，推理时根据输入输出对执行相应操作。

3. 实验设置与结果分析

3.1 实验任务设置

实验包含15种图像处理任务，分为三类：

• 图像恢复任务（10种）：包括高斯噪声、高斯模糊、泊松噪声、椒盐噪声、JPEG压缩、振铃伪影、R - L算法、图像修复、雾霾、雨等类型的处理。针对前八种通过对ImageNet数据集引入失真创建退化 - 干净图像对，去雾利用RESIDE数据集的ITS训练集，去雨采用两种雨添加模型（Simple Rain Model和Complex Rain Model），并使用多个常用数据集组成Common528数据集用于测试。
• 图像增强任务（2种）：低光图像增强（LLE）采用LOL数据集训练，局部拉普拉斯滤波（LLF）通过对Adobe - MIT Fivek数据集的expert - C修饰图像应用局部拉普拉斯滤波器形成输入输出对，LLF用于边缘保留细节增强。
• 图像边缘检测任务（2种）：使用Canny和Laplacian算子，基于ImageNet数据集创建输入输出训练对。

3.2 实验细节

采用ViT - large作为骨干架构。在训练期间，模型以“Q - A - Q - A”模式处理四个256×256图像的序列，从而得到4×256×256的总输入分辨率。使用L1损失作为损失函数。在优化方面，采用带有余弦退火学习率调度器的AdamW优化器。基础学习率为1e - 4。批量大小为48。使用8个8TeslaV100GPUs进行训练。总共执行50个轮次。对于测试Painter和PromptGIP，为每个任务构建20个图像提示取最佳结果。

3.3 实验结果分析

• 任务处理能力与视觉效果：PromptGIP能有效处理多种图像处理任务，视觉效果良好（如图5、6所示）。在图像恢复任务上表现出色，定量得分优于Real - ESRGAN等模型（如表1所示）。

• QA范式和掩码训练策略有效性：QA范式改进了模型性能，掩码训练策略增强了模型处理不同任务的能力及稳定性。如在图像去雾任务中，直接预测效果不佳，而掩码训练策略有效（如表3所示）。
  

• 分布外任务泛化能力：模型在分布外任务（如混合退化恢复、颜色化、风格转移）上有一定泛化能力，但存在局限性，如无法完美处理未见过的混合退化图像和颜色化任务（如图8所示）。

4. 研究结论与展望

4.1 研究结论

PromptGIP模型可处理多种图像处理任务，通过视觉提示问答范式能解释任务线索并生成相关输出，具有一定泛化性。

4.2 研究局限与展望

模型在生成新兴结果方面能力有限，训练数据的质量、多样性和数量可能影响性能。当前骨干网络ViT在处理低级视觉任务时存在高频信息丢失问题，导致结果不理想，未来可采用更强的骨干模型提升性能，进一步探索模型在通用图像处理中的潜力。