论文笔记：TELLER 可解释的、可概括的、可控的假新闻检测的可信框架

背景

  虽然现有的基于深度学习的方法在准确检测假新闻方面取得了进展，但由于推理过程不透明、泛化能力差以及与大型语言模型（llm）集成的固有风险，它们的可靠性可能会受到影响。
  本文提出了TELLER，这是一个可信赖的假新闻检测的新框架，优先考虑模型的可解释性、概括性和可控性。其通过一个双系统框架实现，集成了认知系统和决策系统。认知系统利用人类专业知识生成逻辑谓词，指导 LLMs 生成人类可读的逻辑语义。同时，决策系统推导出可泛化的逻辑规则，聚合此类语义元素，使系统在不同领域识别输入新闻的真实性，并增强决策过程的透明度。最后，本文给出了四个数据集的综合评估结果，证明了提出的框架的可行性和可信度。

模型

  如上图所示，认知系统作为该框架的第一部分，负责将著名新闻团队汇集地高质量专业知识转化为一组对应逻辑谓词的“是/否”问题模板。参考这些模板，该系统会将“目标新闻”分解并提供给 LLMs 进行知识问答，为相应的逻辑提供真值数据。第二部分，也就是决策系统，由可微分的神经符号模型驱动，整合认知系统的输出。通过从数据中学习到逻辑规则，该系统可以推断出输入新闻的最终真实性。这个框架可以减轻 LLMs 幻觉所带来的不利影响，并且允许通过手动调整模型中的权重来纠正不合理的规则，最终得出以人类专业知识为基础的客观判断结果。
  整体的TELLER框架如图所示，我们接下来关注具体的实现过程。

问题定义

  给定一篇新闻文本$T$，目标是预测其真实性标签$y\in Y$，其中$Y$可以是不同分类粒度的集合。例如，在二分类设置中 Y = { t r u e , f a l s e } Y=\{true,false\} Y={true,false}，当$Y$为true时，被识别为真实新闻，当$Y$为 false 时，被识别为虚假新闻。

认知系统

  认知系统的目标是结合深度学习方法处理大规模在线信息的能力，同时保持手动检查的可信度。
1、谓词构建
  使用符号约定：大写字母$Q$和$P$分别表示问题模板和谓词的集合，小写字母$q$分别表示这些实体的实例问题、逻辑原子以及结果值。逻辑原子的真值用$\mu$表示。初始集合包含$N$个问题的问问题模板集$Q$。每个模板$Q_i$包含$N_i$个变量，可以转换为$N_i$一元逻辑谓词$P_i(X_{i,1},...,X_{i,N_i})$。谓词$P_i$的逻辑语义被解释为对$Q_i$的指定含义，其真值$\mu$表示$P_i$成立的概率。例如，$Q_1$是“背景信息：$X_{i,1}$，陈述：$X_{i,2}$，这个陈述是真的吗？”，对应的谓词 可以解释为“给定背景信息$P_1(X_{i,1},X_{i,2})$，陈述$X_{i,1}$是真的。
2、逻辑原子
  对于每个谓词$P_i(X_{i,1},...,X_{i,N_i})$，可以用输入新闻中的实际内容实例化变量$X_{i,1},...,X_{i,N_i}$，以获得逻辑原子。使用$x_k$表示第$k$个实例化，其中$1\le k\le {\sum }_{i=1}^{N_i}|X_{i,j}|$。由$p_{i,k}$表示对应问题$q_{i,k}$的实例化逻辑原子。通过利用 LLMs 中的参数知识和从外部工具（如搜索引擎）获取的额外信息，认知系统可以生成这些问题的答案，表示为逻辑原子的真值。

决策系统

  决策系统接收这些真值作为输入，并通过神经符号模型生成可解释的逻辑子句，以揭示误导信息。该模型可以从数据中以端到端的方式学习通用逻辑规则。

实验

  本文在LIAR、Constraint、PolitiFact和GossipCop四个数据集上进行了实验，这些数据集包括二分类和多分类的。关于LLM，选择了开源的FLAN-T5和Llama2系列，它们包含不同的参数大小，作为构建认知系统的大型语言模型。在LIAR数据集上还进行了使用gpt -3.5 turbo的实验，以检查框架的多功能性。

  表1展示了LIAR数据集的结果。“Closed”表示认知系统没有任何外部知识来源，“open”表示它可以利用人类专家收集的证据。

  表2展示了在不访问检索的背景信息的情况下对Constraint、PolitiFact和GossipCop数据集的结果。