Measuring short-form factuality in large language models （SimpleQA） 论文简介

介绍SimpleQA：衡量大语言模型短篇事实性的新基准

在人工智能领域，训练能够生成事实正确回答的语言模型一直是一个开放性问题。当前的前沿模型有时会产生虚假输出或未经证实的答案，这种现象被称为“幻觉”（hallucinations）。幻觉是阻碍大语言模型（LLMs）广泛采用的主要障碍之一。为了应对这一挑战，OpenAI的研究团队提出了一个基准——SimpleQA，旨在评估语言模型回答简短、事实性问题的能力。

SimpleQA的设计目标

SimpleQA的设计有两个主要目标：

1. 挑战性：SimpleQA的问题是通过对抗GPT-4的回答来收集的，因此对前沿模型来说具有相当的难度。
2. 易于评分：每个问题都设计为只有一个明确的、无可争议的答案，因此评分过程简单直接。

SimpleQA的每个回答被分为“正确”、“错误”或“未尝试”三类。理想情况下，模型应尽可能多地回答正确的问题，同时对那些不确定的问题选择不回答。SimpleQA的目标是提供一个简单、有针对性的评估工具，帮助判断模型是否“知道它们知道什么”。

SimpleQA的特点

SimpleQA包含了4,326个简短的事实性问题，涵盖了广泛的主题，如历史、科学与技术、艺术、地理、电视节目等。以下是SimpleQA的几个关键特点：

• 高正确性：每个问题的参考答案由两名独立的AI训练师确定，确保答案的准确性。
• 良好的用户体验：SimpleQA运行速度快，问题简短，评分过程也通过OpenAI API快速完成。
• 对前沿模型的挑战性：相比旧的基准（如TriviaQA和Natural Questions），SimpleQA对GPT-4和Claude等前沿模型来说更具挑战性。
• 多样性：SimpleQA的问题涵盖了多个领域，确保数据集的广泛代表性。

数据收集与验证

SimpleQA的数据收集分为两个阶段：

1. 问题与答案的创建：AI训练师创建问题与答案对，确保每个问题只有一个明确的答案，并且答案不会随时间变化。
2. 独立验证：另一个AI训练师独立回答问题，只有两个训练师的答案一致时，问题才会被保留在数据集中。

为了确保数据质量，SimpleQA还进行了多次质量检查，包括使用ChatGPT进行自动检测和人工审查。最终，SimpleQA的错误率估计在3%左右。

模型评估与校准

SimpleQA不仅用于评估模型的事实性，还可以用于衡量模型的校准（calibration）能力，即模型是否“知道它们知道什么”。通过让模型在回答问题时给出置信度评分，研究人员可以评估模型的置信度与实际准确性之间的关系。

实验结果表明，较大的模型（如GPT-4）在校准方面表现更好，但所有模型都存在过度自信的问题。此外，通过多次重复提问，研究人员发现模型的回答频率与准确性之间存在正相关关系，进一步验证了模型的校准能力。

相关研究与讨论

SimpleQA与之前的基准（如TriviaQA和Natural Questions）类似，但更具挑战性。其他相关研究包括LongFact和FreshQA，分别评估了开放性问题和对快速变化知识的回答能力。SimpleQA的局限性在于它只评估了简短、事实性问题的回答能力，是否能够推广到长篇回答仍是一个开放性问题。

总结

SimpleQA是一个简单而有效的基准，用于评估大语言模型在短篇事实性问题上的表现。通过提供明确的评分标准和挑战性的问题，SimpleQA为研究人员提供了一个有用的工具，帮助他们训练更可信、更可靠的语言模型。

如果你对SimpleQA感兴趣，可以访问GitHub页面获取更多信息。