【PyTorch项目实战】肿瘤检测：AI辅助诊断（低倍率分割淋巴结 + 高倍率分类肿瘤 + 热图计算T/MLN） + 专家审查
文章目录
- 一、肿瘤检测 —— 肿瘤存在于淋巴结中
-
- 1.1、项目背景
- 1.2、研究现状
- 1.3、论文核心
- 1.4、网络模型（LN WSI）
-
- 1.4.1、分割网络（U-Net） —— 低分辨率（1倍）
- 1.4.2、分类网络（NCRF = ResNet50 + CRF） —— 高分辨率（20倍）
- 1.4.3、热图 —— 显示了肿瘤区域的可疑程度
- 1.4.4、准确计算 T/MLN
- 1.5、研究结果
-
- 1.5.1、利用AI辅助分析，改进诊断过程
- 1.5.2、利用 WSI，预测肿瘤转移 —— 肿瘤细胞从淋巴管或淋巴结门侵入淋巴结
- 二、项目实战
-
- 2.1、虚拟环境
- 2.2、环境配置（PyTorch）
- 2.3、模型训练与模型测试（分割 + 分类） + T/MLN计算
- 2.4、实测结果
一、肿瘤检测 —— 肿瘤存在于淋巴结中
- 中文：使用深度学习根据切除的淋巴结组织病理学图像预测胃癌结果
- 论文：Predicting gastric cancer outcome from resected lymph node histopathology images using deep learning
- 期刊：nature communications
- 时间：2021 年 3 月 12 日
| 英文 - 缩写 | 英文 - 全称 | 中文 |
|---|---|---|
LN |
lymph nodes | 淋巴结 |
MLN |
metastatic lymph nodes | 转移性淋巴结 |
WSI |
whole-slide images | 全切片图像 |
T/MLN |
tumor-area-to-MLN-area ratio | 肿瘤面积与 MLN 面积之比 |
| - | - | - |
| histopathology | 组织病理学 | |
| GC | Gastric cancer | 胃癌 |
| TNM | （tumor node metastasis） staging system | （肿瘤 - 淋巴结 - 转移）分期系统 |
| N-staging | N分期 | |
| stained with hematoxylin and eosin | H&E染色 | |
| lymphocyte region | 淋巴细胞区域 | |
| tumor region | 肿瘤区域 |
1.1、项目背景
- N 分期是预后评估和分期癌症治疗策略决策的决定性因素。
- 病理学家主要通过
目视检查完整淋巴结的全切片(WSI) 来计算转移性淋巴结 (MLN) 的数量。
胃癌 (GC)是全球第二大癌症死亡原因1并且仍然是亚洲最常见的恶性肿瘤之一。- 美国癌症联合委员会 (AJCC)
TNM（肿瘤淋巴结转移）分期系统是预后评估和基于分期的治疗策略决策的决定性因素。- AJCC
N 分期系统中使用的证据基于观察到的转移性淋巴结 (MLN) 的数量。但 N 分期本身是预测胃癌患者总体生存率的独立因素4，而且即使是同一 N 分期，胃癌患者的预后也可能存在很大差异。
1.2、研究现状
- 在诊断淋巴结转移的常规临床工作流程中，会采集完整的淋巴结，用福尔马林固定、石蜡包埋、切片，然后用苏木精和伊红 (H&E) 染色。
- 当前现状：在光学显微镜下，病理学家检查所有解剖淋巴结的载玻片的形态，评估每个淋巴结的状态以及每个人载玻片上的淋巴结总数。
- 问题1：评估过程非常耗时
- 问题2：由于习惯问题，仅靠病理学家很容易误诊
- 问题3：由于技术问题，获取的淋巴结数量可能少于预后所需的数量，从而导致 N 分期不精确。
- 解决方案：引入了 MLN 比率作为 N 分期的辅助手段，但它并未显示出优于 AJCC N 分期。
- 问题1：由于我们的视觉系统很容易错过小物体，微转移很容易被病理学家遗漏。
- 问题2：精确量化 T/MLN 非常耗时，因此会显著增加病理学家的工作量约 3-5 倍。
提出了一个深度学习框架，用于分析 GC 的 LN WSI 并计算 T/MLN，以减少病理学家的工作量并改善 TNM 分期，最终为肿瘤学家带来更精准的治疗策略。
1.3、论文核心
- 核心1：提出了一个深度学习框架：（低分辨率）分割网络 + （高分辨率）分类网络 + 热图 + T/MLN计算
- 核心2：提出了一个新的该量化指标，即 MLN 中转移性肿瘤细胞的面积（T/MLN）。这是 N 分期系统忽略了一个重要因素，并且如果不使用深度学习很难获得，但确实与癌症患者的结果相关。
- 提出了一个深度学习框架，用于分析淋巴结全切片图像 (WSI) 以识别淋巴结和肿瘤区域，然后发现肿瘤面积与 MLN 面积之比 (T/MLN)。
- 经过训练，我们的模型的肿瘤检测性能与经验丰富的病理学家相当，并在两个独立的胃癌验证队列中取得了类似的表现。此外，我们证明肿瘤面积与 MLN 面积之比 (T/MLN)是一个可解释的独立预后因素。
- a：
数据集
- 使用的 GC 淋巴结包含三个队列：一个来自 2001–2005 年期间的 CH 医院（15,362 个），一个来自 2006–2008 年期间的 CH 医院（4343 个），一个来自 2016–2019 年期间的 JX 医院（2260 个）（图1a）。
- 从 CH 医院和 JX 肿瘤医院获得了 GC 淋巴结的 WSI。
- 我们只纳入了患有上皮来源的恶性肿瘤的患者。接受新辅助治疗的患者被排除在外。
- 审查了这些队列中诊断性淋巴结的 H&E 染色、福尔马林固定、石蜡包埋切片图像，以选择没有组织处理伪影（气泡、切片褶皱和染色不良）的图像。由于每个单个淋巴结在 N 分期中都很重要，因此对这些具有严重伪影的载玻片进行了重新切片和重新染色。
- 两名病理学家对 2024 例病例进行了初步质量审查。只有切除的淋巴结总数超过 7 个且质量良好的患者才会被纳入本研究。
- 最终从 1164 例患者的 9366 张切片中筛选出 21965 个淋巴结，其中 7736 个有转移性病变。
- 这些淋巴结切片根据标准协议进行数字化以获得 WSI。
- b：
数据注释
- 我们制定了标记协议：每个 WSI 都由病理学家进行详细注释。使用不同颜色注释五种类型的组织，分别是 germinal center（生发中心）、adipose tissue（脂肪组织）、tumor tissue（肿瘤组织）、lymph nodes contour（淋巴结轮廓）、sinuses（淋巴窦）
窦（dòu），本义指孔穴。也指人体某些器官或组织的内部凹入的部分。- c：首先扫描 H&E 病理切片以获取 WSI，然后病理学家手动标记 WSI 以用于训练网络（分割+分类）。训练好的网络用于分析患者的 WSI，并应用于临床实践。
研究工作流程：
（1）将 H&E 染色的 LN 病理切片数字化，以获取 WSI
（2）选择少量样本进行详细注释
（3）训练分割网络和分类网络
（4）使用训练好的网络，分析所有 WSI。
（5）根据系统的输出（热图），计算每个