Re54：读论文 How Context Affects Language Models‘ Factual Predictions
诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类
论文名称：How Context Affects Language Models’ Factual Predictions
ArXiv网址：https://arxiv.org/abs/2005.04611
2020年AKBC论文，作者来自脸书和UCL。
本文主要关注zero-shot cloze-style question answering任务，使用LM+无监督检索，考察需要检索出什么样的上下文。
用DrQA检索器（TF-IDF检索维基百科）检索的结果，LM在QA上的指标就能和无监督场景相媲美。
open-domain QA的传统做法是retriever+reader（生成回答）
文章目录
- 1. 数据集
- 2. LM
- 3. baseline
- 4. 上下文设置
- 5. 主实验结果
1. 数据集
2. LM
BERT
RoBERTa（削减了LAMA数据集以使其全部在RoBERTa的词表中）
3. baseline
DrQA：TF-IDF检索维基百科→抽取答案
将完形填空格式问题改成QA对："X was born in [Mask]" to "Where was X born?"
4. 上下文设置
在BERT中用不同的segment embeddings区分问题（0）和上下文（1），中间再加个[SEP]
RoBERTa用EOS
后面的实验证明这个操作能提升效果。这可能是因为利用了BERT的NSP任务。
限长512
- oracle上下文：Wikipedia snippet
Wikipedia Snippet 是从 Wikipedia 页面上提取的一小段文本，通常用于快速展示相关条目的主要内容或概述。这种摘要可以帮助用户快速了解某个主题的核心信息，无需阅读整个条目。在搜索引擎结果中，Wikipedia Snippet 常常出现，以便用户在点击进入 Wikipedia 网站之前，就能获得关键信息。例如，如果你搜索一个历史人物、科学概念或者任何其他主题，搜索引擎可能会显示来自 Wikipedia 的简短摘要，这就是所谓的 “Snippet”。
- 相关上下文：检索或生成
- 对抗上下文：信息不足版（从同关系别的问题的oracle上下文中随机抽取）
5. 主实验结果
a：结果token经常不出现在检索上下文中
b：结果token是否出现在上下文中，如何影响模型预测结果。确实影响
每种上下文相比无上下文的改变量，是否加separation的效果对比：
证明NSP起作用：
不同方案在不同数据集上的NSP率
LM概率的变化与NSP概率的关系
↑这个图的纵坐标差别这么大还画成这样，感觉不好。虽然我知道是为了表现趋势相似，但是纵坐标完全不在一个量级上啊！
案例分析：
