当前位置：首页 > article >正文

论文浅尝 | HippoRAG：神经生物学启发的大语言模型的长期记忆（Neurips2024）

article 2024/12/23 23:59:51

笔记整理：陈少凯，浙江大学硕士生，研究方向为知识图谱、RAG

论文链接：https://arxiv.org/pdf/2405.14831

发表会议：Neurips 2024

1. 动机

虽然近年来大语言模型（LLM）的研究取得了很大进展，但持续更新的长时记忆在当前的人工智能系统中仍然有明显缺陷。检索增强生成（RAG）已经成为LLMs长时记忆的解决方案，然而，当前的RAG方法仍不能帮助LLM执行需要跨段落边界集成新知识的任务，因为每个新段落都是孤立编码的。

许多重要的现实世界任务，例如科学文献综述、医学诊断等任务，需要跨段落或文档的知识集成。为了解决此类任务，当前的RAG系统采取迭代地使用多个检索和LLM生成步骤来连接不同的段落。相比之下，人脑能够相对轻松地解决这些具有挑战性的知识整合任务。

2. 贡献

本文的核心贡献主要如下：

（1）首先，提出了一种RAG框架HippoRAG，通过模仿人类记忆来作为LLM的长期记忆。

（2）其次，HippoRAG协同LLM、知识图谱和个性化PageRank算法，以模拟新皮质和海马体在人类记忆中的不同作用。

（3）最后，HippoRAG在多跳问答任务中优于现有的RAG方法，使用HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能。

3. 方法

模型的整体架构如下：

主要分为两个阶段，具体如下：

（1）离线索引阶段：索引阶段类似于记忆编码的过程，包括使用指令微调的LLM和检索编码器来处理一组段落。具体来说，从每个段落中提取一组命名实体，然后将命名实体添加到OpenIE提示符中，以提取最后的三元组。

（2）在线检索阶段：检索阶段类似于人脑的记忆检索过程，这三个相同的组件然后被用来通过镜像人脑的记忆检索过程来执行在线检索。正如海马体接收通过新皮层和PHR处理的输入一样，我们的基于LLM的新皮层从查询中提取一组查询命名实体。然后，这些命名实体根据检索编码器确定的相似性链接到KG中的节点;我们将这些选定的节点称为查询节点。一旦查询节点被选中，它们就成为我们的合成海马体执行模式完成的部分线索。在海马体中，海马指数元素之间的神经通路使相关的邻近区域被激活并被上游召回。为了模仿这种高效的图搜索过程，我们利用了个性化PageRank算法，汇总先前索引的段落的输出PPR节点概率，并使用该概率对它们进行检索排序。

4. 实验

该实验主要在两个多跳QA benchmark（MusiQue和2WikiMultiHopQA）以及HotpotQA数据集上评估HippoRAG的检索能力；为了限制实验成本，从每个验证集中提取了1000个问题，三个数据集的具体信息如下所示：

单步检索性能比较：

多步检索性能比较：

消融实验（不同抽取方法）：

5. 总结

本文提出的神经生物学原理的方法HippoRAG，虽然简单，已经显示出克服标准RAG系统的固有局限性，同时保留其参数记忆的优势。HippoRAG的知识集成能力，为LLM的长时记忆提供了可信的解决方案。然而，在未来的工作中可以解决目前工作的一些限制，使HippoRAG能更好地实现这一目标，比如通过执行特定组件微调来提高本方法的实际可行性。

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。