当前位置：首页 > article >正文

MultiResUNet学习笔记（2019 Neural Networks【SCI 1区】）

article 2025/2/3 18:37:50

摘要

近年来，深度学习在医学图像分割方面取得了突破。（背景介绍）

U-Net是这方面最突出的深度网络，也是医学成像界最受欢迎的体系结构。（点明主题）尽管在分割多模态医学图像方面具有出色的整体性能，但从在具有挑战性的数据集上的广泛实验中，我们发现经典的U-Net架构似乎在某些方面还缺乏。（指出问题，引出研究目的）

因此，我们提出了一些修改来改进已经最先进的UNet模型。（表明本文的中心工作）

因此，在修改之后，我们开发了一种新的架构MultiResUNet作为成功的U-Net架构的潜在继承者。（研究结果）我们在我们提出的架构MultiResUNet与经典的U-Net在大量的多模态医学图像上进行了比较。尽管在理想图像的情况下略有改进，但对具有挑战性的图像的性能已经取得了显著的提高。我们在5个不同的数据集上评估了我们的模型，每个数据集都有自己独特的挑战，并在性能方面分别相对提高了10.15%、5.07%、2.63%、1.41%和0.62%。

引言

医学背景及意义

自数字医学成像设备问世以来，图像处理技术在医学图像分析中的应用引起了广泛的关注。几十年来，多学科的研究人员一直在努力开发自动诊断系统，直到今天，它仍是最活跃的研究领域之一。计算机辅助医学图像分析工具的任务有两个方面：分割和诊断。

在一般的语义分割问题中，目标是将图像分割成一组非重叠的区域，从而允许齐次像素聚类在一起。然而，在医学图像的背景下，兴趣往往在于只区分图像的一些有趣的区域，如肿瘤区域[3]，器官[4]等。这使得医生只能分析其他难以理解的多模态医学图像[5]的重要部分。此外，通常分割后的图像被用于计算可用于诊断[6]的各种特征。因此，图像分割在生物医学工程领域具有极其重要的应用意义。

2.医学图像分割发展现状

由于医学图像分割的深远意义和手工分割的复杂性，大量的医学图像自动分割方法已经发展起来，主要集中在特定模式的图像上。

💡–早期的方法

在早期，采用简单的基于规则的方法；然而，在大量数据[7]上测试时，这些方法未能保持健壮性。

因此，利用软计算[8]和模糊算法[9]的工具，依赖几何形状的先验开发了更多的自适应算法。

然而，这些方法存在人类的偏见，不能处理现实世界数据中的方差量。

💡–近期的发展

最近在深度学习[10]方面的进展已经显露了解决这类问题的希望。

在这点上，卷积神经网络（CNN）[11]是最具开创性的补充，它主导着计算机视觉领域。CNN在目标分类[12]、目标定位[13]等任务上取得了显著进步，而CNN架构的不断改进[14,15,16,17]带来了进一步的根本性进展。语义分割任务也被卷积网络彻底改变了。

由于CNN在执行对象分类方面更直观，Ciresan等人[18]提出了一个基于滑动窗口的管道，使用CNN进行语义分割。

Long等人[19]提出了一种全卷积网络（FCN）来进行端到端图像分割，这超越了现有的方法。
Badrinarayanan[20]等人对FCN进行了改进，开发了一种新的架构，即SegNet。SegNet由一个从图像中提取空间特征的13层深度编码器网络和一个相应的13层深度解码器网络组成，该网络对特征图进行上采样以预测分割掩码。
Chen等人[21]提出了DeepLap并使用无卷积进行语义分割。

💡–现存问题

尽管在计算机视觉任务方面取得了突破，但CNN架构的一个主要缺点是它们**需要大量的训练数据。不幸的是，在医学图像的背景下，不仅图像的获取是昂贵和复杂，准确的注释甚至增加了[22]复杂性。然而，近年来，cnn在医学图像分割方面显示出了巨大的前景，大部分归功于U-Net [24]（引出本文核心UNet）**。

💡–介绍UNet，并夸一夸

U-Net的结构与SegNet非常相似，包括一个编码器和一个解码器网络。此外，编码器和解码器网络的对应层通过跳跃连接相联，分别在池化之前和反卷积操作之后。

U-Net在分割医学图像方面显示出令人印象深刻的潜力，即使标记训练数据很少，在一定程度上它已经成为医学图像分割[22]事实上的标准。

U-Net和U-Net类模型已成功应用于神经元结构[24]、肝脏[25]、皮肤病变[26]、结肠组织学[27]、肾[28]、血管边界[29]、肺结节[30]、前列腺[31]等生物医学图像的分割。这个应用范围不胜枚举。

3.本文工作及贡献

在本文中，我们在欣赏U-Net最流行和最成功的生物医学图像分割深度学习模型的能力的同时，仔细研究网络架构，以发现一些潜在的改进范围。我们认为并假设U-Net架构可能缺乏某些标准（什么标准？），并基于当代深度计算机视觉的进步，我们提出了对它的一些修改（后文寻找答案）。

在后续中，我们开发了一个名为MultiResUNet的新模型，这是U-Net的一个增强版本，我们相信它将显著提高一般多模态生物医学图像分割领域的技术水平。我们用我们的模型来测试来自不同模式的各种医学图像，甚至使用3D医学图像。通过对这组不同的医学图像进行的广泛实验，发现在所有情况下，即使参数数量略少，MultiResUNet也超过了经典的U-Net模型（MultiResUNet Vs. 经典的U-Net）。

本文的贡献可以总结如下：