国自然青年基金|针对罕见神经上皮肿瘤的小样本影像深度数据挖掘关键技术研究|基金申请·25-02-15
小罗碎碎念
今天和大家分享一个国自然青年基金项目,执行年限为2021.01~2023.12,直接费用为24万元。
该项目聚焦罕见神经上皮肿瘤小样本影像深度数据挖掘技术,致力于攻克小样本数据和临床经验缺乏带来的难题。项目围绕影像规范化、肿瘤分割、特征提取与模型构建等关键技术展开研究,取得了丰硕成果,涵盖算法创新、软件系统开发、学术成果产出以及人才培养等多个方面。
在技术成果上,提出多尺度级联Unet模型合成影像、整图下采样训练的肿瘤分割模型等多种创新方法,显著提升了影像处理和分析能力,还建立了影像组学辅助诊断软件系统并搭建硬件加速平台。学术成果方面,发表4篇SCI论文,获1项科研奖励。同时,项目注重人才培养,已培养多名博士和硕士研究生。
此外,项目团队积极开展国内外学术交流,推动研究不断深入,为罕见神经上皮肿瘤的诊断和治疗提供了新的技术手段和理论支持。
知识星球
如需获取推文中提及的各种资料,欢迎加入我的知识星球!
一、项目简介
近年来基于影像组学的医疗影像深度数据挖掘在疾病诊断等方面取得重大进展,但在罕见病临床应用中,因小样本数据量限制和临床诊疗经验缺乏,存在规范化数据集构建困难和分类模型泛化能力差的问题。
本项目针对难题,首先研究基于多尺度三维U型对抗网络的关键技术,构建多中心影像层厚等规范化体系;其次研究基于稀疏表示的完备特征获取和小样本决策模型构建的关键技术,提升组学特征泛化能力,降低对样本量的依赖;最后以罕见神经上皮肿瘤为突破口,研究上述理论技术的临床应用。
项目旨在提升小样本组学分析的稳定性和可靠性,为罕见神经上皮肿瘤的小样本医疗影像深度数据挖掘研究提供理论依据和解决方案。
二、多尺度3D U - net模态合成网络模型
整体结构
该模型呈现左右对称的结构,左侧部分主要是下采样过程,右侧部分是上采样过程,中间部分是连接上下采样的过渡区域。
模型的输入和输出都有特定的尺寸标注,例如输入尺寸有64x64x64和32x32x32 。
运算操作
- Concat(拼接):绿色箭头表示,用于将不同部分的特征图进行拼接操作,融合不同层次的信息。
- Conv + Relu(卷积和激活函数):橙色箭头表示,卷积操作用于提取图像特征,Relu作为激活函数,引入非线性因素,使模型能够学习到更复杂的模式。
- Max pool(最大池化):红色箭头表示,通过下采样的方式降低特征图的维度,减少计算量,同时保留重要特征。
- Up - conv(上卷积/反卷积):黄色箭头表示,用于上采样过程,将低分辨率的特征图恢复到高分辨率,与下采样过程相对应。
- Conv(卷积):紫色箭头表示,同样用于特征提取。
- Down samp(下采样):黑色箭头表示,对输入进行降维操作,减少数据量。
应用场景
这种多尺度3D U - net模态合成网络模型常用于医学影像处理等领域,例如在处理多模态医学影像(如CT、MRI等)时,通过该模型可以对不同尺度、不同模态的影像数据进行融合和特征提取,以辅助疾病的诊断、分割等任务 。
三、多模态组学分析的框架
包含预处理、集成框架和融合模型三个主要部分。
预处理(preprocess)
展示了对全视野切片图像(WSI)的处理过程。首先划定感兴趣区域(ROI),然后对ROI进行划分和下采样操作。
例如,将ROI划分为不同的子区域,并分别以1倍和4倍下采样至250×250的尺寸。
集成框架(Integrated framework)
- SEN_MRI部分:对MRI图像进行处理,提取强度(Intensity)、纹理(Texture)、小波(Wavelet)特征,并进行特征选择。
- SEN_HIST部分:针对组织学图像(HIST),在不同尺度(Scale1和Scale2)下,通过基础块(Basic block)进行特征提取,再利用基于注意力的特征图融合(Attention - based feature map fusion)模块,其中包含全局平均池化(GAP)和全连接层(FC),对特征进行融合。
- SEN_CYTO部分:对细胞图像(CYTO)进行细胞核提取(Nuclear extraction)和细胞核特征提取(Nuclear feature extraction)。先通过分类和回归操作生成轮廓图(contour map)和距离图(distance map),融合后得到细胞核,进而提取细胞核特征。
融合模型(Fusion model)
将SEN_MRI、SEN_HIST和SEN_CYTO三个模态的特征进行融合,通过全连接层(FC)处理,最终输出分析结果。
该框架旨在整合多模态医学影像数据(MRI、组织学、细胞学图像),通过特征提取、融合和分析,实现对医学图像的综合处理,辅助疾病诊断等医疗应用。
结束语
本期推文的内容就到这里啦,如果需要获取医学AI领域的最新发展动态,请关注小罗的推送!如需进一步深入研究,获取相关资料,欢迎加入我的知识星球!