当前位置：首页 > article >正文

3、论文阅读：EnYOLO：一种基于图像增强的水下目标区域自适应实时检测框架

article 2024/9/23 8:40:26

图像增强和目标检测的结合

前言
介绍
相关工作
- UIE 水下图像增强
- UOD 水下目标检测
- UDA 水下域自适应
方法介绍
- 训练过程
- 推理过程
- 网络概述
- 多阶段训练策略
- - Burn-In Stage（预热阶段）
  - Mutual-Learning Stage（相互学习阶段）
  - Domain-Adaptation Stage（领域适应阶段）
- 多阶段训练策略算法介绍
- 损失设计
- - Burn-In Stage
  - Mutual-Learning Stage
  - Domain-Adaptation Stage
实验
- 实验的细节
- - 数据集
  - 训练设置
- 水下图像增强实验
- 水下目标检测实验
结论
代码

前言

UIE：水下图像增强
UOD：水下目标检测
AUVS：自主水下航行器
水下图像增强在水下目标检测任务方面应用不多，具体有一下原因：
（1）使用UIE作为预处理步骤，引入了很大的计算量
（2）在目标检测之前进行图像增强未必能够产生性能改进
（3）复杂的水下环境导致不同场景下的域偏移，严重影响UOD性能
为了解决这些挑战，我们引入了EnYOLO，这是一种集成的实时框架，设计用于同时进行UIE和UOD，并具有域适应能力。具体地说，UIE和UOD任务头共享相同的网络主干，并利用轻量级设计。
此外，我们提出一种新颖的领域适应性策略，以对齐来自不同水下环境的特征嵌入

介绍

复杂的水下环境导致水下图像的质量很差，因此，用UIE方法获取清晰的水下图像通常被认为是与视觉相关的水下任务的必要前提。为此，引入了EnYOLO：基于领域自适应的实时UIE和UOD集成框架。UIE和UOD任务负责人都利用相同的网络主干，并采用轻量级架构。此外，我们引入了一种多阶段的训练方法，以保持训练这两个任务的平衡，其总体目标是不断提高其性能。另外，我们还提出一种新的领域自适应方法来减轻水下各种环境的域差距。

方法介绍

我们提出的框架旨在同时有效地启用UIE和UOD。
我们使用成对的合成水下数据集Dps={(xs, ˆxs)i, i ∈ [1, ns]}来促进UIE任务的训练。ns表示数据集的大小。xs表示退化的合成水下图像，而 ˆxs是对应的清晰图像。
对于UOD任务的训练，我们利用带标签的真实世界水下数据集Dlr ={(xr, br, cr)i, i ∈ [1, nr]};;其中nr表示真实世界数据集大小，xr表示真实世界水下图像，br表示边界框注释，cr是类标签。此外，Dlr中的真实水下图像即xr还构成了不成对的真实水下数据集Dur = {（xr）i，i ∈ [1，nr]}，以增强UIE模块在真实世界场景中的性能。此外，UIE针对每个xr的增强结果ˆxr，连同他们对应的br和cr，用公式表示标记的增强现实世界数据集Dle = {( ˜xr, br, cr)i, i ∈ [1, nr]}，也用于训练UOD任务。
在推理过程中，网络获取真实水下图像xr，并随后预测增强的图像ˆxr和检测结果(˜br, ˜cr)<