Polar-Net：通过 OCTA（光学相干断层扫描血管成像）检测阿尔茨海默病

通过OCTA（光学相干断层扫描血管成像）检测阿尔茨海默病

• • 主问题：如何通过OCTA图像有效地检测阿尔茨海默病？
  • • 子问题1：如何在深度学习模型中模拟临床实践中常用的区域基础分析方法？
    • 子问题2：如何在网络中提取视网膜的不同扇区特征？
    • Polar-Net架构
    • 子问题3：如何量化不同区域对阿尔茨海默病检测决策的贡献？
    • 子问题4：如何提高模型的解释性，使其结果与临床观察一致？
    • 子问题5：怎么确保我们用来检测阿尔茨海默病（AD）的图像数据既可信又有用？
  • 效果
  • 总结

主问题：如何通过OCTA图像有效地检测阿尔茨海默病？

论文：https://arxiv.org/pdf/2311.06009.pdf

子问题1：如何在深度学习模型中模拟临床实践中常用的区域基础分析方法？

• 子解法1：极坐标转换与近似扇区卷积
  • 原因： 临床上常用的ETDRS网格是一个基于区域的分析方法，它将目标区域分成9个部分进行研究。
  • 在深度学习模型中直接应用这种网格分析是困难的，因为传统的卷积神经网络（CNN）是基于笛卡尔坐标系统的。
  • 通过将OCTA图像从笛卡尔坐标系统转换到极坐标系统
  • 再用一个我们自己设计的网络模型（Polar-Net）来学习这些图像的特征。
  • 还使用了一些技巧，比如调整学习速率和旋转图像，来帮助模型更好地学习。
  • Polar-Net能够实现近似的扇区卷积，从而模拟ETDRS网格基于区域的分析方法。
  • 极坐标转换使得图像中的圆形和扇形区域在变换后的图像中成为水平或垂直的条纹，从而简化了后续的处理步骤。

检测步骤：

左侧是在视网膜中检测FAZ（中央无血管区）中心并随后将OCTA图像转换为极坐标的步骤。

右侧展示了Polar-Net模型的输出，这是一个颜色图，表明了不同视网膜区域对AD检测的重要性。

具体转换过程：

图像(a)是笛卡尔坐标系中的原始OCTA图像。

图像(b)在OCTA图像上应用了ETDRS网格，这是一种临床工具，用于将视网膜划分为有意义的分析区域。

图像©显示了转换为极坐标后的OCTA图像，而(d)显示了ETDRS网格的每个扇区是如何映射到这个新的极坐标系中的。

子问题2：如何在网络中提取视网膜的不同扇区特征？

• 子解法2：极坐标特征提取模块（PFEM）
  • 原因： 在极坐标转换后的图像中，不同的扇区特征对应于不同的视野大小。
  • PFEM通过使用多尺度空洞卷积和多核心池化操作，能够提取不同尺度上的特征，同时通过注意力机制调整特征通道间的权重，从而有效捕捉视网膜中的微观变化。

Polar-Net架构

突出了模型如何通过极坐标特征提取模块（PFEM）处理来自不同视网膜投影的输入。

该模块包括一个多核心空洞卷积模块（MKAC）用于捕捉多尺度特征。

一个多核心池化模块（MKPM），以及一个卷积块注意模块（CBAM）用于特征精炼。

子问题3：如何量化不同区域对阿尔茨海默病检测决策的贡献？

• 子解法3：极坐标区域重要性模块（PRIM）
  • 原因： 临床研究显示，AD患者在某些特定的视网膜区域表现出显著的血管密度减少。
  • 为了理解模型在做出阿尔茨海默病检测决策时各个区域的贡献，PRIM通过应用Grad-CAM技术和平均池化操作来计算特征图对特定类别得分的贡献，从而生成区域重要性矩阵。
  • 这不仅增强了模型的解释性，也让研究人员和临床医生能够更好地理解模型的决策依据。

更暖的颜色表示更高的重要性。

子问题4：如何提高模型的解释性，使其结果与临床观察一致？

• 子解法4：解释性分析
  • 原因： 在医学影像分析中，仅有高准确性的模型是不够的，模型的解释性同样重要，这样医生和研究人员才能理解模型的决策过程，并将其与临床观察相对照。
  • Polar-Net通过解释性分析展示了模型训练良好后的结果，这些结果与之前的临床研究结论一致，表明该方法可以作为研究视网膜变化与AD关系的潜在工具。

子问题5：怎么确保我们用来检测阿尔茨海默病（AD）的图像数据既可信又有用？

• 子解法5：精心准备数据集和使用交叉验证
  • 作者收集了一些来自阿尔茨海默病患者和健康人的眼底图像，并且确保了这些数据的收集是经过患者同意和符合伦理标准的
  • 为了让实验结果更可靠，采用了一个叫做“交叉验证”的技术，它可以让数据得到充分的使用并且避免了作弊的可能性。

这 5 个子问题及其解决方案共同构成了Polar-Net框架，它通过特定的设计改进，实现了在OCTA图像中检测AD的高准确性和高解释性。

效果

在OCTA-500数据集上的分类结果，这包括了另一项研究的OCTA图像集。它证明了Polar-Net模型在准确性、AUROC和卡帕得分方面优于其他模型。

总结

Polar-Net是一个用于检测阿尔茨海默病（AD）的深度学习模型，它通过分析光学相干断层扫描血管成像（OCTA）图像来工作。

这个模型解决了如何从视网膜图像中识别AD的问题，使用了一系列特定的解决方案来提高检测的准确性和可解释性。

主问题：如何通过OCTA图像有效地检测阿尔茨海默病？

• 子问题1、子解法1：区域基础分析的模拟

  • 解法：极坐标转换
    • 原因： 为了模拟临床上常用的ETDRS网格分析方法，需要一种能够将OCTA图像的笛卡尔坐标转换为极坐标的方法，因为这种转换能够让模型在圆形网格中进行更自然的区域分析。

• 子问题2、子解法2：提取区域特征和重要性

  • 解法：极坐标特征提取模块（PFEM）
    • 原因： 在转换后的极坐标图像中，需要一种能够有效提取不同扇区特征的方法。PFEM通过使用多尺度的空洞卷积和池化操作，可以提取多层次的视网膜特征，这对于理解视网膜变化与AD之间的关系至关重要。

• 子问题3、子解法3：增强模型的解释性

  • 解法：生成重要性矩阵和地图
    • 原因： 模型的解释性是医学影像分析中的一个重要方面，需要一种能够可视化不同视网膜区域对AD检测贡献的方法。通过PRIM模块和Grad-CAM技术，Polar-Net可以生成区域重要性矩阵和地图，帮助医生和研究人员理解哪些区域最相关。

举例来说，如果我们想知道在OCTA图像中的哪些部分与阿尔茨海默病的关系最密切，子问题1和子解法1就像是我们提供了一种新的眼镜，让计算机以全新的方式来观察图像，从而发现那些以前可能被忽略的细节。

子问题2和子解法2则是为了让计算机更深入地了解这些细节，就像给计算机提供了一个放大镜。

最后，子问题3和子解法3让计算机能向我们解释它的观察结果，这就好比计算机不仅能找到线索，还能告诉我们为什么这些线索是关键。