LLM | 论文精读 | CVPR | FairCLIP：追求视觉语言学习中的公平性

论文标题：FairCLIP: Harnessing Fairness in Vision-Language Learning

作者：Yan Luo Min Shi Muhammad Osama Khan Muhammad Muneeb Afzal等

期刊：CVPR 2024

DOI：http://arxiv.org/abs/2403.19949

email：yuhan.huang@whu.edu.cn

创作不易，恳请大家点赞收藏支持:)
 

在深度学习领域的迅猛发展中，公平性问题已经成为不可忽视的研究重点，特别是在医疗领域，深度学习模型的输出可能直接影响诊断和治疗决策。因此，确保这些模型的公平性表现，不仅是伦理和法律的要求，也是保障患者安全和医疗公平的基础。本文提出的FairCLIP方法，旨在提升视觉-语言（VL）模型在医疗场景中的公平性，尤其是涉及种族、性别、语言和民族等受保护属性时的表现。

1. 引言

在过去的几年中，公平性问题在深度学习领域获得了显著关注，尤其是在可能直接影响患者健康的医疗应用中。由于数据中存在种族、性别和社会经济地位等因素，模型的偏差可能导致诊断和治疗的显著不平等。因此，确保模型不带有偏见，是保障医疗服务公平性和有效性的必要措施。

传统的基于影像的医疗模型，例如用于胸部X射线诊断的深度学习模型，已经显示出存在种族和性别上的偏见。相比之下，视觉-语言（VL）基础模型由于结合了视觉和文本信息，最近在各类任务中显示出很大的潜力。然而，对于VL模型在医疗应用中的公平性研究仍然非常有限，这主要是由于缺乏包含详细人口统计信息的数据集。

为了填补这一研究空白，本文引入了首个专门用于公平性研究的视觉-语言医疗数据集Harvard-FairVLMed，并提出了一种基于最优传输理论的改进模型方法，称为FairCLIP，旨在通过调整不同人口群体之间的分布差异，平衡模型的性能与公平性。

2. 数据集分析

2.1 Harvard-FairVLMed 数据集概述

Harvard-FairVLMed数据集包含了10,000名患者的记录，每条记录包含一张扫描激光检眼镜（SLO）眼底图像和一份临床笔记，这些记录用于青光眼的诊断。该数据集包含丰富的受保护人口统计属性，例如年龄、性别、种族、民族、语言偏好和婚姻状况。不同于常见的放射学报告，该数据集的临床笔记不仅记录了影像描述，还提供了如药物、非影像测试结果和家族病史等详细的临床信息，使其更符合典型的临床文档。

2.2 受保护信息去识别化

由于原始临床笔记中可能包含诸如患者姓名、电话号码、电子邮件地址等敏感信息，作者设计了一套严格的去识别化流程，包括：

1. 使用Microsoft Presidio工具对临床笔记进行匿名化，将敏感信息替换为占位符（如“姓名”或“电话号码”）。

2. 基于规则的匹配，用于识别并去除Presidio未能识别的敏感信息。

3. 通过四位医学专家人工验证每条临床笔记，确保去识别化过程的完整性和准确性。

3. 方法论

3.1 背景：视觉-语言模型

视觉-语言任务需要模型能够处理多模态数据，即同时理解视觉和文本信息。本文采用了CLIP和BLIP2作为视觉-语言模型，这些模型使用视觉编码器和文本编码器，分别提取视觉和文本特征。CLIP通过对比学习（contrastive learning），最大化匹配图像和文本特征的相似度，同时最小化不匹配对之间的相似度。

在FairCLIP框架中，目标是在模型训练期间通过减少不同人口群体之间的Sinkhorn距离，来降低模型在特征表示上的群体差异性，以此来提高模型的公平性。

3.2 FairCLIP：实现公平性

FairCLIP的设计目标是在预训练过程中减少特征表示在不同人口群体之间的差异，以提高公平性。这一目标通过引入受保护属性的人口统计信息到学习过程中，从而确保模型在所有群体中学习到更加均衡的特征表示。

FairCLIP使用了Sinkhorn距离，这是一种概率度量方法，能够兼顾计算效率和分布差异衡量的准确性。通过最小化Sinkhorn距离，模型可以将整体数据分布与各人口群体的特定分布对齐，从而减少特征表示的偏差，提高公平性。

FairCLIP的主要流程包括以下三个步骤：

1. 特征分布对齐：通过最小化Sinkhorn距离，将不同人口群体的特征分布对齐于整体分布。

2. 去识别化与摘要处理：对临床笔记进行去识别化和摘要，以适应文本编码器的长度限制（如CLIP的77个token的最大长度）。

3. 正则化学习：在CLIP的预训练损失中加入Sinkhorn损失，以在保证模型准确性的同时，进一步优化其公平性。

3.3 可视化：设计有效的图表

在FairCLIP的研究中，可视化对于展示模型的学习过程和公平性改善效果至关重要。论文中的图2展示了临床笔记如何经过去识别和摘要处理，再与SLO眼底图像共同编码的流程。通过可视化比较不同群体间的特征相似性，展示了FairCLIP如何有效地减少分布差异，并在公平性优化方面取得成效。

4. 实验与分析

4.1 实验设置

预训练

作者使用了CLIP和BLIP2模型，进行了两种类型的预训练：

1. 自然图像预训练：使用CLIP和BLIP2的官方预训练权重，这些权重是在自然图像和文本对上训练得到的。

2. 医学预训练：在Harvard-FairVLMed数据集上进一步微调这些模型，使其能够更好地适应医疗场景下的青光眼诊断任务。

评估策略

实验中采用了两种主要的评估策略：

• 线性探测（Linear Probing）：在视觉特征上训练一个线性分类器，用于评估模型在预训练过程中学到的特征质量。

• 零样本迁移（Zero-Shot Transfer）：直接使用预训练模型进行分类，通过计算文本与图像嵌入之间的相似度，评估其泛化能力。

评估指标

为了全面评估模型的性能和公平性，作者采用了多种评估指标，包括：

• 人口平等差异（DPD）：评估模型在不同人口群体间是否输出一致。

• 机会均等差异（DEOdds）：衡量模型在不同群体之间的预测一致性。

• 曲线下面积（AUC）：评估模型的分类性能。

• 公平性扩展AUC（ES-AUC）：结合公平性和分类性能的整体度量。

• 群体AUC：分别对每个子群体进行AUC计算，以评估不同群体之间的表现差异。

4.2 实验结果和分析

• 公平性改进：与基线模型相比，FairCLIP在公平性指标上有显著改进。例如，通过最小化Sinkhorn距离，可以显著减少种族群体之间的特征差异。

• 群体分析：在诊断任务中，亚裔群体的表现最佳，而黑人群体的表现最差。此外，男性患者的诊断准确性普遍高于女性。这些结果表明，数据分布的不均衡性会影响模型表现，而FairCLIP通过优化模型的公平性，有效地降低了这种偏差。

• 医学预训练的优势：与自然图像预训练相比，医学预训练显著提升了公平性扩展AUC（ES-AUC），特别是在种族和民族属性上，表明领域特定数据的微调能够有效提高模型在不同群体中的公平性表现。

5. 结论

本文提出的FairCLIP框架通过最优传输理论，减少了不同人口群体之间的分布差异，在医疗视觉语言模型的公平性上取得了重要进展。实验结果表明，FairCLIP在平衡模型性能和公平性方面取得了显著成果，特别是在面向医疗应用时，展示了其在提升医疗诊断公平性和可靠性方面的潜力。

6. 关键贡献总结

1. 数据集发布：提出了Harvard-FairVLMed数据集，该数据集用于医疗领域VL模型的公平性研究，包含了丰富且详细的人口统计学信息。

2. 基于Sinkhorn距离的优化方法：引入了一种新的公平性优化目标，利用Sinkhorn距离替代传统的公平性度量方法（如KL散度），从而提高了计算效率和公平性。

3. 多模态学习中的公平性：首次针对视觉语言模型在多模态学习中的公平性进行了深入探讨，为确保不同群体在医疗诊断中的公平性研究奠定了重要基础。

这些贡献对于人工智能在医疗领域的应用具有重大意义，不仅提高了模型的准确性，也有效确保了模型在不同群体间的公平性。

7. 讨论与未来方向

7.1 挑战与局限性

尽管FairCLIP提供了一种有效的公平性改进方法，但其在实际应用中仍然面临着挑战。预训练数据的不平衡性对某些群体的表现仍有负面影响，例如在诊断准确性方面，黑人群体的表现仍不如其他群体。此外，Sinkhorn距离的计算带来了额外的计算开销，这可能在大规模数据集或实时应用中成为瓶颈。

7.2 未来工作

为进一步推进FairCLIP在实际应用中的有效性，未来的研究可以聚焦于以下几个方面：

1. 数据集多样性与规模扩展：增加用于模型训练和测试的数据集的多样性和规模，包括不同种族、性别、年龄等属性的数据，以更好地评估和改进模型在各类群体中的公平性表现。

2. 实时计算的优化：探索更高效的算法或近似方法来计算Sinkhorn距离，以减少FairCLIP在大规模数据集或实时应用中的计算开销，使得模型在工业环境中具有更好的可扩展性。

3. 跨领域的公平性研究：将FairCLIP的框架应用于其他医疗诊断场景，例如皮肤病、肿瘤影像等，评估该框架在不同医学图像类型和诊断任务中的适用性与有效性。

4. 人机协作的公平性评估：研究如何将FairCLIP融入实际的临床工作流程中，并与医生的诊断决策相结合，确保人机协作环境下的诊断结果在不同群体中仍保持公平性。

5. 公平性与性能权衡的优化：进一步研究如何在保持模型高性能的同时最大化公平性，探索更多的正则化策略或多目标优化方法，以实现公平性与诊断准确率的最佳平衡。