【大语言模型】ACL2024论文-13 透过分裂投票的镜头：探索法律案例结果分类中的分歧、难度和校准

【大语言模型】ACL2024论文-13 透过分裂投票的镜头：探索法律案例结果分类中的分歧、难度和校准

论文：
https://arxiv.org/pdf/2402.07214

目录

透过分裂投票的镜头：探索法律案例结果分类中的分歧、难度和校准

摘要

在法律决策中，当法官们无法达成一致意见时，就会出现分裂投票（SV），这给必须理解多样化法律论点和观点的律师带来了困难。在高风险领域，理解人类与人工智能系统之间感知难度的一致性对于建立信任至关重要。然而，现有的自然语言处理（NLP）校准方法专注于分类器对其预测性能的认识，这是以人类多数类为衡量标准的，忽视了固有的人类标签变异（HLV）。本文探索了分裂投票作为自然可观察的人类分歧和价值多元性。我们从欧洲人权法院（ECHR）收集了法官的投票分布，并提出了一个包含SV信息的案例结果分类（COC）数据集SV-ECHR。我们构建了一个具有SV特定子类别的分歧分类体系。我们进一步评估了模型与人类之间感知难度的一致性，以及COC模型的置信度和人类校准。我们观察到与法官投票分布的一致性有限。据我们所知，这是在法律NLP中首次系统性地探索与人类判断的校准。我们的研究强调了进一步研究的必要性，即测量和增强考虑法律决策任务中HLV的模型校准。

研究背景

在高风险领域，如法律和医疗决策，模型预测的置信度或不确定性的量化尤为重要。不确定性估计的纳入使专家能够做出更明智的决策，特别是在模型可能不确定或误诊后果严重的情况下。评估模型是否意识到其局限性被称为校准。然而，现有的NLP研究主要关注预测置信度和校准，以评估分类器对其预测性能的认识，通常以人类多数类为衡量标准。但近期的NLP研究揭示了固有人类标签变异（HLV）的普遍性，观察到在各种任务中的分歧。学者们主张承认和接受HLV，因为它反映了人类价值的多样性和多元性。值得注意的是，Baan等人（2022）已经证明，广泛使用的校准指标可能不适用于固有人类分歧特征的数据集。鉴于这些发现，我们认为模型不仅应该校准以认识自己的不确定性（性能校准），还应该能够辨别人类表现出不确定性的实例（人类校准）。这种双重关注旨在促进最终用户之间的信任，并减轻模型可能造成的伤害。因此，我们研究了法院判决中的分裂投票（SV）。

问题与挑战

在法律决策过程中，法官的分裂投票（SV）是一个自然发生的人类分歧的例子。研究者们面临的挑战包括：

1. 固有人类标签变异（HLV）：在法律NLP中，如何考虑和处理人类标签的固有变异性。
2. 模型与人类感知难度的一致性：如何评估和提高模型在感知难度上与人类判断的一致性。
3. 模型校准：在存在人类分歧的情况下，如何评估和改进模型的置信度校准和人类校准。
   

如何解决

为了解决上述挑战，研究者们采取了以下方法：

• 构建数据集：收集欧洲人权法院（ECHR）法官的投票分布，创建了包含SV信息的COC数据集SV-ECHR。
• 构建分类体系：构建了一个具有SV特定子类别的分歧分类体系，以分析法官分歧的原因。
• 评估模型校准：评估了模型与人类之间感知难度的一致性，以及COC模型的置信度和人类校准。

创新点

本文的主要创新点包括：

1. 分裂投票数据集：首次提出了一个包含法官分裂投票信息的COC数据集SV-ECHR。
2. 分歧分类体系：构建了一个具有SV特定子类别的分歧分类体系，为分析法官分歧提供了新的视角。
3. 模型校准评估：在法律NLP领域，首次系统性地探索了与人类判断的校准，特别是在考虑固有人类分歧的情况下。

算法模型

本文中提到的算法模型主要是基于BERT的模型，特别是LegalBERT，这是一个专门为法律文本预训练的BERT变体。研究者们使用了层次注意力模型，这是一种自注意力机制的变体，用于处理法律文本的分类任务。此外，研究者们还探索了使用软损失函数进行微调，以提高模型的人类校准。

实验效果

实验结果表明：

• 模型性能：在COC任务上，LegalBERT模型在hm-F1指标上取得了较好的性能。
• 感知难度一致性：模型在感知难度上与人类判断的一致性有限，尤其是在分裂投票案例上。
• 模型校准：在考虑固有人类分歧的情况下，模型的置信度校准和人类校准存在挑战。软损失函数微调可以略微改善模型的人类校准。
  
  

重要数据与结论

一些关键数据和结论包括：

• 分裂投票案例的挑战：分裂投票案例对模型来说更具挑战性，模型在这些案例上的性能较低。
• 模型校准的局限性：在固有人类分歧的情况下，现有的模型校准方法（如温度缩放和ECE）可能不足以确保模型的预测概率准确反映真实概率。
• 软损失函数的潜力：软损失函数微调可以改善模型的人类校准，尽管改善有限。

推荐阅读指数：★★★★☆

后记

如果您对我的博客内容感兴趣，欢迎三连击 (***点赞、收藏和关注 ***）和留下您的评论，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。