国自然面上项目｜基于海量多模态影像深度学习的肝癌智能诊断研究｜基金申请·25-03-07

小罗碎碎念

今天和大家分享一个国自然面上项目，执行年限为2020.01～2023.12，直接费用为65万元。

该项目旨在利用多模态医学影像，通过深度学习技术，解决肝癌诊断中的难题，如影像的快速配准融合、海量特征筛选、肿瘤分类等，以推动人工智能在肝癌诊断中的应用，实现早期筛查的自动化和智能化。

在研究过程中，项目取得了多方面的成果。首先，在多模态影像数据关联性模型构建、海量特征筛选与肿瘤自动定位、基于海量数据的肝癌智能诊断模型构建等主要研究内容上，均取得了重要进展。例如，提出了多种创新的影像处理方法，如基于自适应图层归一化迁移学习的 3D 超声模拟生成方法、基于多分辨率的超声体数据重建方法等，有效提高了影像的质量和处理效率。

其次，在肝脏超声三维重建、呼吸运动补偿、多模态影像配准等方面，攻克了多个关键技术难题。例如，实现了肝脏超声影像三维重建、呼吸运动补偿、空间位姿标定与多模态影像配准、海量影像特征提取与筛选、血管和肿瘤分割与定位、肿瘤良恶性鉴别与分级诊断以及肿瘤消融治疗效果评估等。

此外，项目在国际知名期刊上发表 SCI 论文 11 篇、 EI 检索论文 3 篇，相关技术成果申报国家发明专利 12 项，其中授权 5 项，并转化为国家二类医疗器械注册证，服务于多家国内知名三甲医院。

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量52,000+，交流群总成员1100+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

知识星球

如需获取推文中提及的各种资料，欢迎加入我的知识星球！

一、项目概述

基于影像学的检查已成为临床肝癌诊断的必要手段。然而，回顾性海量多模态影像数据难以有效利用，且肝癌临床诊断严重依赖经验。

目前，医学大数据挖掘是临床医学和人工智能交叉领域的前沿热点，为肝癌精准诊疗提供有力支撑。如何实现多模态医学影像关联融合、肿瘤特征提取与表征、以及肿瘤分类是该领域亟需解决的重要科学问题。

本项目拟对肝癌智能诊断进行拓展和创新，研究影像的快速配准融合、海量特征筛选、肝癌和影像关联图谱等关键问题，建立以大规模多模态影像深度学习为核心的肝癌智能诊断基础理论和技术体系，推动人工智能技术在肝癌诊断中的普及和应用，使肝癌早期筛查向自动化、智能化发展。

二、基于深度学习的 3D 超声图像模拟生成算法的总体框架图

该框架主要由两个部分组成：大脑超声模拟网络和肝脏超声迁移网络。

该框架通过自适应图层归一化和 LSGAN 网络，实现了从 MR 图像到超声图像的模态转换，生成高质量的 3D 超声图像。通过迁移学习，将大脑超声模拟网络的生成器部分迁移到肝脏超声迁移网络中，提高了肝脏超声图像的生成效率和质量。

1. 大脑超声模拟网络

• 输入：大脑的磁共振成像（MR）图像。
• 编码器：负责提取大脑 MR 图像的特征图。
• 自适应图层归一化：用于获取大脑 MR 图像内容与超声图像模态特征映射。
• 解码器：将特征图转换为模拟的超声图像。
• 生成器：构建 LSGAN（Least Squares Generative Adversarial Network）网络框架。
• 判别器：用于区分真实超声图像和生成的模拟超声图像。
• 损失函数：
  • ( L_c )：内容损失，衡量生成图像与真实图像的内容相似度。
  • ( L_D )：判别器损失，衡量判别器的性能。
  • ( L_F )：特征匹配损失，衡量生成图像与真实图像的特征相似度。

2. 肝脏超声迁移网络

• 输入：肝脏的磁共振成像（MR）图像。
• 编码器：负责提取肝脏 MR 图像的特征图。
• 自适应图层归一化：用于获取肝脏 MR 图像内容与超声图像模态特征映射。
• 解码器：将特征图转换为模拟的超声图像。
• 生成器：构建 LSGAN 网络框架。
• 判别器：用于区分真实超声图像和生成的模拟超声图像。
• 损失函数：
  • ( L_c )：内容损失，衡量生成图像与真实图像的内容相似度。
  • ( L_D )：判别器损失，衡量判别器的性能。
  • ( L_F )：特征匹配损失，衡量生成图像与真实图像的特征相似度。

3. 迁移学习

• 迁移学习：将大脑超声模拟网络中生成器的部分参数冻结，迁移到肝脏超声迁移网络中，以加速肝脏超声图像的模拟生成。

4. 网络结构

• 生成器：由编码器和解码器组成，负责生成模拟的超声图像。
• 判别器：负责区分真实超声图像和生成的模拟超声图像。
• 自适应图层归一化：用于在不同模态图像之间进行特征映射，提高生成图像的质量。

5. 损失函数

• 内容损失（( L_c )）：衡量生成图像与真实图像的内容相似度。
• 判别器损失（( L_D )）：衡量判别器的性能。
• 特征匹配损失（( L_F )）：衡量生成图像与真实图像的特征相似度。

6. 优化

• 优化器：使用双时间尺度更新规则优化网络模拟损失函数，生成高质量的模拟超声图像。

三、基于金字塔子图传递的 3D 超声重建算法的框架图

该算法旨在通过多分辨率的图像处理技术，实现高质量的 3D 超声图像重建。

该算法通过多分辨率的图像处理技术，结合 3D 结构金字塔和 3D 纹理金字塔，利用 3D 近似最近邻搜索和子图传递迭代修复，实现了从 2D 超声图像序列到高质量 3D 超声体数据的重建。

这种方法有效地解决了稀疏采集导致的 3D 超声图像质量较低的问题，提高了重建的精度和效率。

总的来说，这是基于金字塔子图传递的3D超声重建算法框架图，展示了从2D超声图像序列生成3D超声体的过程：

1. 首先对2D超声图像序列进行像素特征描述和空间插值，生成带有空洞的3D超声体。
2. 接着从带有空洞的3D超声体中进行掩膜提取，得到3D掩膜。
3. 利用3D掩膜分别构建3D结构金字塔和3D纹理金字塔，通过3D近似最近邻搜索和3D子图传递迭代修复，最终得到完整的3D超声体。

结束语

本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关资料，欢迎加入我的知识星球！