CVPR2023新作：基于组合空时位移的视频修复
-
Title: A Simple Baseline for Video Restoration With Grouped Spatial-Temporal Shift (视频修复的简单基准：组合空时位移)
-
Affiliation: CUHK MMLab (香港中文大学多媒体实验室)
-
Authors: Dasong Li, Xiaoyu Shi, Yi Zhang, Ka Chun Cheung, Simon See, Xiaogang Wang, Hongwei Qin, Hongsheng Li
-
Keywords: video restoration, inter-frame information, deep learning, spatial-temporal shift, effective receptive field
-
Summary:
- (1): 该文章研究视频修复，
- (2): 过去的方法通常依赖于复杂的网络架构，例如：光流估计，可变形卷积和跨帧自注意力，这些方法会带来高额的计算成本。而本文提出的轻量级框架——基于组合空时位移的方法，能够隐含地捕捉多帧间的对应关系，并且可以扩展有效的感受野，同时使用基本的二维卷积聚合不同帧间的信息，相对于之前的方法可节约75%的计算成本。
- (3): 该算法的核心是组合空时位移块，可以有效地实现大尺度的有效感受野。
- (4): 在视频去模糊和视频降噪两个任务上，该方法均表现优于之前的最先进方法，证明了该方法可以在保持高质量结果的同时大大减少计算开销。
- Methods:
-
(1): 本文提出了一种轻量级的视频修复框架，利用组合空时位移块来捕捉多帧间的对应关系，并扩展有效感受野。其中，组合空时位移块通过局部位移和空间注意机制对输入进行建模，并通过平均池化和最大池化来聚合特征，并利用反卷积恢复图像细节。
-
(2): 该算法分为两个关键步骤：(i) 异质帧间信息聚合；(ii) 异质帧间信息修改。其中，第一步采用组合空时位移块实现，可以有效地扩展有效感受野；第二步则通过反卷积层实现。
-
(3): 文中提到，该方法可以节省75%的计算成本。实验结果表明，该算法在视频去模糊和视频降噪两个任务上均优于之前的最先进方法，证明了该方法的有效性和实用性。
- Conclusion:
- (1): 本文提出了一种简单而有效的视频修复框架。通过引入轻量级的组合空时位移块，该方法可以隐含地捕捉多帧间的对应关系，同时扩展有效的感受野，大大减少计算成本。该方法在视频去模糊和降噪任务上具有更好的表现。
- (2): 创新点：通过组合空时位移块实现了多帧间对应关系的建模，扩展了有效感受野，优化了计算成本。性能：在视频去模糊和降噪任务上表现优于之前最先进的方法。工作负荷：可以节省75%的计算成本。