【2025-ICLR-未中】教授多模态大语言模型理解心电图图像
1.背景
这篇文章讨论了如何通过多模态大语言模型（MLLMs）来理解心电图（ECG）图像，特别是如何应对当前传统心电图分析方法中的挑战。文章提出了一个新的数据集和模型来提高心电图图像的解读能力，并展示了其在实际临床应用中的潜力。
2.方法
这张图展示了如何构建一个用于心电图（ECG）图像解读的大规模多模态指令调优数据集，名为ECGInstruct：
1. ECG图像合成与各种失真（ECG Image Synthesis with Various Distortions）：
- 从ECG信号提取： 首先，从原始的ECG信号中提取数据。
- 图像合成： 使用ECG信号合成图像，并通过滤波等手段来处理这些信号。
- 增加失真： 为了模拟真实世界中打印出来的ECG图像的情况，这些图像会加入各种失真，如标准化、旋转、噪声、褶皱等。这样做的目的是让模型能够在实际应用中处理不同条件下的心电图图像。
2. 基于临床专家见解的多样化任务构建（Diverse Task Construction with Clinical Experts’ Insights）：
- 临床专家任务设计（Clinical Experts’ Tasks）： 根据临床医生的专业知识，设计与ECG图像分析相关的任务（任务包括填空题、单选题、开放性问题等多种类型，帮助模型学习不同的ECG图像分析任务。）。这些任务涵盖了多个领域，例如基本特征识别（如P波、QRS波段）、心律分析（如房颤或室性早搏）、病理学分析（如心肌缺血、心脏梗塞等）。
- 多样化的任务类型（Diverse Task Types）： 为了提升模型的多样性和实用性，设计了多种类型的任务，如选择题（MCQ）、填空题（Fill-in-the-blank）、开放性问题（Open-ended QA）等。
- 任务调优（Instruction Tuning）： 使用像Llama-3这样的先进语言模型来进行任务调优，即通过大量的样本和专家反馈，训练模型优化它对任务的理解和回答能力。
- 质量检查（Quality Checking）： 在任务生成之后，进行质量检查，使用独立的语言模型（例如Llama-3）对生成的指令和答案进行评分，筛选出质量较低的内容并进行改进。
这张图展示了ECGBench的数据整理过程：
- 从诊断和报告中重用任务（Repurposed Tasks from Diagnoses and Reports）：
异常检测（Abnormality Detection）：
- 步骤： 从现有的ECG数据集和临床报告中提取任务。ECG图像从原始信号合成，并且从这些诊断和报告中提取相关的问题和答案。
- 示例任务： 任务可能是：“请判断此ECG图像中的异常，是否存在房颤或束支传导阻滞？”
- 图像和问题： 任务的输入是ECG图像，输出是模型生成的答案，如诊断是否正确。
报告生成（Report Generation）： - 步骤： 根据ECG图像生成临床报告。类似于临床医生根据图像写报告的过程。
- 示例任务： 任务可能是：“请根据此ECG图像生成临床报告，描述心电图中的特征，如节律、波形和任何异常。”
- 图像和问题： 任务输入是ECG图像，输出是模型生成的详细报告。