【医学影像 AI】生成式 AI 基础模型 MINIM（2）研究方法

【医学影像 AI】生成式 AI 基础模型 MINIM（1）主要结果(https://youcans.blog.csdn.net/article/details/145386965)
【医学影像 AI】生成式 AI 基础模型 MINIM（2）研究方法(https://youcans.blog.csdn.net/article/details/145403336)

1. 简介

2024年12月，温州医科大学瞿佳、张康，北京大学未来技术学院王劲卓等在 Nature Medicine 上发表研究论文：Self-improving generative foundation model for synthetic medical image generation and clinical applications 。

论文下载地址：https://doi.org/10.1038/s41591-024-03359-y

MINIM 在解决跨模态数据稀缺问题方面实现了几个关键技术突破：

1. 多模态融合：
   MINIM整合了多种成像技术（如MRI、CT、眼底影像等）及其对应的文本描述，构建了一个跨模态的生成框架。
   这种能力让它不仅限于单一类型的影像数据，而是可以处理和生成多种类型的数据，在进行生成模型训练时可以有效利用不同医学数据间的共性特征，显著提升了数据利用效率，即使是在数据稀缺的情况下，也能为下游任务提供足够的训练样本，增强了AI模型的表现能力。

2. 强化学习（RLHF）与迁移学习：
   MINIM引入了基于人类反馈的两阶段强化学习框架，利用合成数据迭代训练模型，从而提高了生成图像的质量。

3. 下游数据扩增：
   通过临床医生评估和严格客观测量验证，MINIM合成的图像质量高，并且在面对以前未见过的数据领域时表现出增强的生成能力，其生成数据对多个下游临床应用性能提升起到重要作用。

其次，为了保障MINIM生成影像的公平性和准确性，采取了以下方法：

1. 多样化数据集：确保训练数据集中包含来自不同背景（例如年龄、性别、种族等）和各种疾病类型的样本。这种多样化的数据输入有助于模型学习到广泛的特征表示，从而减少对特定群体的偏见。
2. 增强泛化能力：MINIM展示了当面对以前未见过的数据领域时具有增强的生成能力。这表明它能够较好地适应新的情况，并且对于少见病症或代表性不足的人群也能提供较为准确的结果。
3. 持续反馈与改进：MINIM采用了基于人类反馈的强化学习框架，允许根据实际使用中的反馈进行调整和优化，在发现某些特定群体的表现不佳，会通过收集更多相关案例并重新训练模型来改进性能。

最后，MINIM 作为世界首个通用大型生成式医学影像模型，能够根据文本指令为各种器官生成海量合成影像数据，有效解决了患者隐私保护问题并克服了高昂的数据标注成本。
MINIM 提供了一个创新的解决方案来缓解传统医疗数据获取与标注的困境，为医学影像大模型的开发、精准医疗的推进及个体化治疗的探索提供了强有力的技术支撑。

图1：用于医学图像合成的生成系统的示意图。
a、 MINIM的开发和部署。训练是在不同模态和器官的成对图像和报告上使用潜在稳定扩散模型进行的。在部署中，MINIM能够根据不同的文本描述生成高质量的合成图像。通过临床医生的主观评估和多个客观指标对合成图像进行评估。
b、 合成图像可以用作额外的训练源，并在三个场景中进行演示，包括诊断、报告生成和自我监督学习。合成图像可以帮助临床应用，包括准确预测乳腺癌症MR图像中HER2和肺癌CT图像中EGFR的突变，并改进生存分析。
图标来自[参考文献](https://uxwing.com/image-icon/ and https://uxwing.com/edit-document-icon/.c)

2. 方法

2.1 数据集描述和伦理审批

我们从多个医疗机构收集了OCT数据和报告，以构建一个广泛的数据集（扩展数据表1，左）。我们结合了中国眼科影像调查的图像-报告对，并根据患者身份随机分割数据，构建了训练和验证集（11438个数据对）。我们使用温州医科大学眼科医院的数据进行外部验证（2287个数据对）。除了来自公共数据集46的OCT图像报告外，我们还收集了一个高质量的数据集，其中包括13725个成对的图像-文本OCT样本。

视网膜眼底图像是从中国生物年龄研究联盟的研究队列中收集的（扩展数据表1，中），包括中国北方队列，该队列来自中国河北省唐山市的次优健康队列研究，以及来自广东省广州市南方医院珠海市人民医院的华南队列研究。共有59420对图文同意参与我们的研究。
胸部CT和X射线图像来自华西医院和广州医科大学（扩展数据表1，右）。对于每位有病历的患者，我们选择了10张CT图像和10张X射线图像，为3745名患者提供了74900对配对数据。
脑MRI数据集来自多个中心，包括来自中国16家医院的1960名患者47。这些患者总共贡献了30800张肿瘤注释图像，包括13859张T1通道图像和16941张T2通道图像。

乳腺肿瘤成像数据集来自广州国家实验室和中山大学纪念医院（如扩展数据图6所示），包括3694名经乳腺MR图像诊断的患者。这些患者共提供了34506张带注释的肿瘤图像和35000张正常乳腺图像，其中包括16017张T1通道图像、6129张T2通道图像和47360张增强T1通道图像。3200张图像包含HER2基因的信息，该信息专门用于训练模型将HER2基因表达与MRI特征相关联。剩余的图像作为额外的数据集来训练稳定的扩散模型，确保稳健可靠的性能。
该研究已获得所有参与医院或研究所的机构审查委员会/伦理委员会的批准。所有参与的患者都签署了同意书。本研究按照《赫尔辛基宣言（Declaration of Helsinki）》的原则进行，符合中国疾病预防控制中心的政策和中国卫生法。

2.2 临床医生的图像分级

OCT和眼底图像经历了一个分层分级系统，该系统由多层训练有素的分级员组成，他们在图像标签的验证和校正方面拥有越来越多的专业知识。
导入数据库的每张图像都以与患者最新诊断相匹配的标签开头，并检查了每份配对报告。第一级的学生包括医科学生和眼科住院医师，他们参加并通过了口译课程复习。第一级评分员对真实患者图像进行了初始质量控制，并排除了包含严重伪影或明显图像分辨率降低的图像。第二级评分者由五名至少有10年视网膜亚专科实践经验的眼科医生组成，他们对每张图像和相应的报告进行独立评分。记录是否存在反映玻璃体、视网膜、视网膜色素上皮（RPE）和脉络膜特征的图像，以及各种视网膜疾病诊断，包括脉络膜新生血管（活动性或视网膜下纤维化形式）、黄斑水肿、玻璃疣、视网膜静脉病变、视网膜前膜和OCT扫描上可见的其他病理。最后，由两名资深独立视网膜专家组成的第三层，每位专家都有20多年的临床视网膜经验，验证了每张图像的真实标签和相应报告。
为了解释评分中的人为错误，993次扫描的验证子集由两名眼科医生评分员分别评分，临床标签的分歧由一名高级视网膜专家仲裁。
对于胸部X射线、胸部CT、脑部MRI和乳房MR图像，最初通过删除所有低质量或不可读的扫描对所有模态进行质量控制筛查。与之前的眼科图像分级类似，这里的诊断由三名至少有10年实践经验的放射学专家医生进行分级。为了解释任何评分错误，评估集也由另一位专家进行了检查。

在评估基于AI的EGFR突变状态预测时，我们采用了两个独立的回顾性队列，分别来自中国成都华西医院或广州医科大学第一附属医院的晚期肺癌（III期或IV期）患者。这两个队列的部分描述已发表。我们使用了截至2014年的患者进行培训。我们使用了2015年至2020年的连续患者进行5年生存评估（队列a：华西医院；队列B，广州医科大学第一附属医院）。我们使用Kaplan-Meier生存曲线来比较EGFR敏感突变患者与EGFR不敏感突变患者的生存率。如果所有患者都接受了肿瘤组织活检和EGFR基因测序以确定EGFR突变状态，则接受了标准化疗加TKI治疗。由三名高级肿瘤学家组成的评估委员会将盲法和去识别的队列A和队列B患者交给计算机科学家，用于基于人工智能的EGFR突变状态预测。

2.3 MINIM 的框架和实现细节

MINIM是一种新的框架，旨在通过扩散模型生成医学图像，利用成对的医学图像 I = { i 1 , i 2 , i 3 , . . . , i n } I = \{i_1, i_2, i_3, ..., i_n\} I={i1​,i2​,i3​,...,in​} 及其对应的文本描述 D = { d 1 , d 2 , d 3 , . . . , d n } D= \{d_1, d_2, d_3, ..., d_n\} D={d1​,d2​,d3​,...,dn​}，跨越不同的医学图像模态 M = { m 1 , m 2 , m 3 , . . . , m k } M = \{m_1, m_2, m_3, ..., m_k\} M={m1​,m2​,m3​,...,mk​}。为了便于准确生成特定的模态图像，我们将模态信息 $m_k$ 与描述信息 $d_n$ 连接起来，生成MINIM 的文本输入 $[m_k;d_n]$。在训练阶段，MINIM 使用 BERT 标记器 EBERT 分别对模态信息和描述信息进行编码。该框架按照以下方程逐步向输入图像引入一系列随机高斯噪声：

其中 ${\beta }_t$ 是一个线性噪声调度器，定义为 ${\beta }_t=\beta min+t\times (\beta max-\beta min)/T$，$i_T$ 是纯噪声输入。然后，MINIM 学习使用 U-Ne t架构来逆转扩散过程，该架构对模态信息和描述信息都有交叉注意力机制：

其中 ${\mu }_{\theta }$ 由输入文本和图像之间的交叉注意力输出预测，该输出结合了不同 U-Net 层的交叉注意力机制。在 U-Net 编码器和解码器的浅层，MINIM 在图像嵌入 $U_{shalow}(i_t)$ 和模态信息嵌入$E_{BERT}(m)$ 之间应用交叉注意，在 U-Net 编码和解码器的深层，MINIM 应用图像嵌入 $U_{deep}(i_t)$ 与模态信息嵌入 $E_{BERT}(d)$ 之间的交叉注意。交叉注意力功能定义为：

其中 $Q$ 从 U-Net 特征中导出，K 和 V 从相应的文本嵌入中导出 $(E_{BERT}(m)$ 或 $E_{BERT}(d))$。

在推理过程中，图像的生成是通过从随机噪声 $i_T$ 开始的迭代去噪过程进行的。

其中 $zN(0,I)$ 和 ${\sigma }_t^2={\beta }_t$。
这种顺序交叉注意力方法允许MINIM首先结合特定于模态的信息，然后用更详细的描述性信息来细化特征。通过连接模态和描述信息，该模型可以学习区分一般模态特征和文本中描述的特定图像细节，从而可能导致更准确和可控的医学图像生成。

为了优化MINIM生成医学图像，我们使用了来自通用域的预训练U-Net参数，并使用四种不同的医学图像模态对模型进行了微调，每种模态都与其相应的文本描述配对。所有代码都在PyTorch中实现。微调实验是在配备八个NVIDIA A100 GPU的高性能计算集群上进行的。
我们通过调整超参数、初始化和纪元来优化生成医学图像的能力。所有输入图像都以512×512像素的分辨率重新缩放，并以128的批量进行处理。在这种配置中，微调模型需要大约10小时的1000个训练步骤和4天的10000个步骤。
我们从HuggingFace获得了SD管道（Ver1.4）和CLIP（ViT-large）的U-Net模型权重。我们的实现使用了“transformers”和“diffusers”库。我们在生成过程中禁用了内置的安全检查器，因为它在响应医疗提示时的假阳性率很高。为了合成医学图像，我们采用了一个无分类器的引导尺度设置为4.0，并使用默认的噪声调度器将推理步骤设置为100，该调度器涉及扩散模型的伪数值方法。表现最佳的模型被选为我们的生成模型（图1a）。

2.4 对比方法和消融研究

我们将MINIM与人工智能领域最新的文本到图像生成模型进行了比较，包括Imagen18、DALLE19、GigaGAN17和StyleGAN-T16。

在我们的数据集上，对发布的检查点上的预训练模型进行了微调。超参数是按照他们原始论文中的说明使用的。

我们进行了一项消融研究，以选择MINIM的最佳超参数。使用所有数据集的三个指标（FID、IS和MS-SSIM）的平均值来评估合成图像的质量（扩展数据表2）。结果表明，随着训练步骤数量的增加，合成图像的质量大幅提高，在20000个训练步骤下，FID降至57.91，MS-SSIM降至0.18，IS增至5.89，这是我们进一步实验的选择。
我们还研究了不同模型初始化和图像分辨率的影响。U-Net和CLIP模型的随机权重初始化导致性能较差，FID评分较高就是证明。此外，生成分辨率较低的图像（256×256）会导致生成质量较差。总之，最佳性能是通过完整的MINIM模型实现的，该模型用预训练的权重初始化，并在512×512图像分辨率上训练20000步。此配置显示了三个指标的最佳平衡。

扩展数据表3显示了使用合成OCT图像诊断各种眼部疾病时使用不同配置的分类性能的比较。
该表强调了随着训练步骤数量的增加，准确性的提高。最初，原始SD模型的随机精度为0.51。经过10000个训练步骤后，该模型在准确性方面取得了实质性的提高：CNV分类为0.82，DME为0.84，DRUSEN为0.88，正常病例为0.91。
此外，该表还研究了不同模型初始化和图像分辨率对分类性能的影响。U-Net和CLIP模型的随机权重初始化，以及较低分辨率的图像（256×256），与完整的MINIM模型相比，导致了次优的结果。经过20000步训练的完整MINIM模型表现出0.94的卓越平均精度，与它在真实数据上的性能非常接近。这证明了MINIM模型在生成适用于精确多类别诊断的高质量合成图像方面的鲁棒性和可靠性。

2.5 RL 实现细节

我们介绍了一个两阶段RLHF框架，该框架使用合成数据迭代训练代理（图6）。该框架旨在利用合成图像和放射科医生评级的优势，生成高质量的数据，这在现实世界数据稀缺、昂贵或有风险的情况下尤其有益。

第一阶段涉及从MINIM模型生成合成图像。
将生成的图像传递给接收选择器，该选择器作为分类模块运行。在此阶段，分类模块旨在让所有实例无需选择即可通过。
随后，人工评分员对合成数据进行评估，他们的评估被编码为1到3的评分，其中1 代表“图像质量太低”；2 代表“图像质量符合标准，但与报告不符”；3 代表“图像质量符合标准，与报告基本一致”。这些评级用于更新RL策略，从而结束这一阶段的循环。

RL策略 π 根据以下方程式进行更新：

其中 $R(s,a)$ 表示状态-动作对的评级，α是学习率。

第二阶段引入了主动选择过程。
同样，合成图像被输入系统，但这次，“接收选择器(Receive
Selector)”分类模块根据分类结果决定通过哪些图像。只有选定的图像会被转发给人工评分员进行评估。未选择的实例将被丢弃。
人工评分员的评分更新了强化学习策略，与第一阶段类似，但学习率不同。选择性过滤将策略更新集中在更高质量的图像上，这对于提高学习效率和有效性至关重要。更新后的政策由以下内容表示：

其中 β 是与 α 不同的学习率，反映了两个阶段之间不同的数据分布。$P_{selected(xi)}$ 是实例 $xi$ 被“接收选择器”选中的概率；$P_{\pi }(a|s)$ 是在当前策略 π 下在状态 s 中采取行动的概率；$V\pi (s)$是状态 s 在策略 π 下的值函数。在这个公式中，术语 $R(s,a)-V_{\pi }(s)$ 表示时间差误差，这是一种衡量结果与代理人期望之间比较的指标。

2.6 下游分析的实现

为了评估合成数据在诊断中的有效性，我们选择了在训练集中出现五次以上的类别标签。然后，我们使用Swin Transformer模型在相应的图像和标签上训练多类分类诊断模型。
首先，使用微调的MINIM为训练数据集中的每个文本描述生成与训练图像数量相等的合成图像，并将其映射到文本的相应诊断。然后，在训练阶段，这些图像作为额外的输入被合并到Swin Transformer分类模型中。为了评估生成的诊断结果，我们使用准确性、F1评分和AUC作为评估指标。在进一步的放大实验中，生成的合成图像的数量从100%、200%、500%、1000%和2000%不等，并相应地报告了每种变化的结果。

使用每种图像模态的合成数据生成报告的实验设置如下。选择频率超过10的文本描述及其相应的图像，形成真实的数据集。
这些文本描述随后用于生成合成图像，这些图像在训练阶段作为基于CLIP+GPT2的图像字幕模型的额外输入。随后，采用独立的测试数据集来生成相应的报告，并将其与实际情况进行比较。为了将生成的报告与地面实况报告进行比较，我们采用了既定的自然语言生成指标。这些指标包括1-4g的BLEU、CIDEr和ROUGE-L。在进一步的放大实验中，生成的合成图像数量从100%、200%、500%、1000%和2000%不等，并相应地报告了每种变化的结果。

在我们使用合成数据评估自监督学习方法时，我们采用了Siamese网络架构。对于每种图像模态，我们将合成图像的两个不同增强引入到网络的不同分支中。DenseNet-121的自监督预训练模型进行了线性探测，只有一个分类层在100%、200%、500%、1000%和2000%的训练数据上进行了微调，同时保持其他模型权重不变。使用真实数据和不同数量的合成数据以及仅使用真实数据的混合来报告Top-1分类精度（图4e）。

2.7 EGFR 突变类型检测的实现细节

我们进行了两类和三类EGFR突变类型分类，将仅使用真实图像的基线模型与将真实图像与不同比例的合成数据（从10%到500%）组合在一起的几个模型进行了比较。我们使用Swin Transformer实现了一个端到端的架构，该架构鼓励模型预测类概率。通过误差反向传播对模型进行训练，将32幅图像批量调整为像素，持续50个迭代周期，学习率为 $1\times 10^{-4}$。训练是使用Adam优化器进行的，权重衰减为 $1\times 10^{-5}$。在训练过程中，随机水平和垂直翻转的变换被添加到每个批次中作为数据增强，以实现改进和通用的网络学习。选择用于测试集评估的模型是训练集上验证损失最大的模型。

2.8 HER2 状态检测的实现细节

我们训练了一个三层卷积神经网络（CNN），将乳腺MR图像分为三类：无肿瘤、HER2阳性和阴性肿瘤。
该模型包括三个卷积层，每个卷积层后面都有一个整流线性单元（ReLU）激活函数和一个最大池化层。在模型的末尾，有三个由ReLU激活分隔的线性函数。我们首先在仅由真实数据（3200张图像）组成的数据集上训练了一个基本分类器。
其中，有1598张没有肿瘤的图像，687张包含HER2阳性状态的肿瘤的图像和915张包含HER2。使用相同的架构，我们在由真实和合成数据组成的混合数据集上训练了一个新的分类器。该数据集包括上述所有真实数据以及10倍的合成图像。在合成图像中，有16274张没有肿瘤的图像，7582张包含HER2阳性状态的肿瘤的图像和6292张包含HER2阴性状态的肿瘤图像。在训练过程中，我们使用了Adam优化器，其损失函数为CrossEntropy。我们将学习率设置为0.001的固定值，并使用128的批处理大小训练了总共20个迭代周期。这两个分类器的测试结果如图5c所示。

2.9 研究设计

有关研究设计的更多信息，请参阅与本文链接的《Nature Portfolio Reporting Summary》。

3. 在线内容与数据代码

3.1 在线内容

关于本文相关的方法、附加参考文献、自然组合报告摘要、源数据、扩展数据、补充信息、确认、同行评审信息，作者贡献和竞争利益的详细信息，有关数据和代码可用性的声明，请访问https://doi.org/10.1038/s41591-024-03359-y.

3.2 数据可用性

开发和验证数据集的可用性受到限制，这些数据集是在参与者的许可下用于本研究的。在合理的要求下，可以从相应的作者那里获得去标识的数据用于研究目的。

3.3 代码可用性

复制结果的代码可以在以下网址访问：
https://github.com/WithStomach/MINIM

4. 项目安装与使用

4.1 安装

如果您只想使用我们的模型生成医学图像，我们强烈建议您下载exe而不是安装repo。

如果您想使用我们的代码来训练自己的模型，请按照以下步骤安装并运行该项目：

1. 克隆存储库并导航到项目目录

git clone https://github.com/WithStomach/MINIM.git
cd MINIM

2. 安装扩散器 diffusers

pip install git+https://github.com/huggingface/diffusers.git
pip install -U -r requirements.txt

3. 初始化加速环境

accelerate config

4.2 数据格式

输入数据应该是一个包含三列的 csv 文件：path，Text 和 modality（模态）。其中路径path 表示图像的路径，文本 Text 是图像的描述。

path, Text, modality
image/1.jpg, breast with tumor, MRI
image/2.jpg, chest without tumor, CT

4.3 训练自己的模型

训练

要训练模型，请执行以下步骤：

1. 确保你有正确格式的数据和预训练的扩散模型。
2. 编辑train.sh的前几行

export MODEL_NAME="path/to/pretrained_model"
export DATASET_NAME="path/to/data.csv"

3. 运行训练脚本

bash train.sh

这将执行 train.sh 脚本，其中包含启动训练过程所需的所有命令。检查点默认保存在 ./checkpoint。

部署

为了使用模型根据给定的提示生成图像，您只需运行：

bash generate.sh

4.3 强化学习程序 main.py

import yaml
import torch
from pathlib import Path
from typing import Dict, Tuple, List
from src.synthetic.synthetic_system import SyntheticSystem
from src.selector.receive_selector import ReceiveSelector
from src.rl.policy import RLPolicy
from src.raters.rating_system import RatingSystem
import logging
import wandb
from datetime import datetime
from src.utils.training_utils import (
    validate_data_file, setup_wandb, setup_optimizers_and_schedulers,
    train_epoch, update_schedulers, save_checkpoints_if_needed,
    load_checkpoints
)

def setup_logging(config: Dict):
    logging.basicConfig(
        level=logging.INFO,
        format='%(asctime)s - %(levelname)s - %(message)s',
        handlers=[
            logging.FileHandler("training.log"),
            logging.StreamHandler()
        ]
    )

def train(config: Dict):
    validate_data_file(config)
    run_id = setup_wandb(config)
    
    selector = ReceiveSelector(config)
    policy = RLPolicy(config)
    synthetic_system = SyntheticSystem(config)
    rating_system = RatingSystem(config)
    
    setup_optimizers_and_schedulers(selector, policy, config)
    start_epoch = load_checkpoints(selector, policy, synthetic_system, config)
    
    stage = config["training"]["stage"]
    logging.info(f"Training in stage {stage}")
    
    for epoch in range(start_epoch, config["training"]["max_epochs"]):
        try:
            train_epoch(
                epoch=epoch,
                stage=stage,
                selector=selector,
                policy=policy,
                synthetic_system=synthetic_system,
                rating_system=rating_system,
                config=config
            )
            
            update_schedulers(selector, policy, synthetic_system, config)
            save_checkpoints_if_needed(epoch, selector, policy, synthetic_system, config)
            
        except Exception as e:
            logging.error(f"Error in epoch {epoch}: {str(e)}")
            continue

def main():
    config = yaml.safe_load(Path("config/config.yaml").read_text())
    setup_logging(config)
    train(config)

if __name__ == "__main__":
    main()

5. 附图

论文引用：
Wang, J., Wang, K., Yu, Y. et al. Self-improving generative foundation model for synthetic medical image generation and clinical applications. Nat Med (2024). https://doi.org/10.1038/s41591-024-03359-y

版权说明：
本文由 youcans@xidian 对论文 Self-improving generative foundation model for synthetic medical image generation and clinical applications 进行摘编和翻译。该论文版权属于原文期刊和作者，本译文只供研究学习使用。

youcans@xidian 作品，转载必须标注原文链接：
【医学影像 AI】生成式 AI 基础模型 MINIM（2）研究方法https://youcans.blog.csdn.net/article/details/145386965
Crated：2025-01