分享｜借鉴传统操作系统中分层内存系统的理念（虚拟上下文管理技术）提升LLMs在长上下文中的表现
《MemGPT: Towards LLMs as Operating Systems》
结论：
大语言模型（LLMs）上下文窗口受限问题的背景下，
提出了 MemGPT，通过类操作系统的分层内存系统的虚拟上下文管理技术，
提升 LLMs 在复杂人物（eg.长文档分析、多会话聊天）的表现。
- 研究背景：LLMs 在人工智能领域引发变革，但受限于有限的上下文窗口，这对其在长时间对话、文档分析等任务中的表现造成阻碍。例如，分析长文档时，由于窗口限制无法处理超出部分内容；在多轮对话中，难以维持长期连贯的交互。
- 核心技术：提出虚拟上下文管理技术，借鉴传统操作系统中分层内存系统的理念。通过在快速和慢速内存间移动数据，让系统呈现出拥有大内存资源的效果，以此突破 LLMs 上下文窗口的限制。
- MemGPT 系统：基于虚拟上下文管理技术，引入 MemGPT 系统。该系统能智能管理不同层级的内存，在 LLMs 有限的上下文窗口内有效提供扩展上下文。同时，利用中断机制管理系统与用户之间的控制流，实现更灵活交互。
- 应用评估：在文档分析和多会话聊天两个领域对 MemGPT 进行评估。在文档分析方面，它能够处理远超底层 LLMs 上下文窗口大小的大文档；在多会话聊天中，可创建能通过与用户长期交互进行记忆、反思和动态进化的对话代理，展现出良好的应用潜力。
- 资源共享：研究团队发布了 MemGPT 的代码和实验数据，方便其他研究者进一步探索和改进，推动相关领域的发展。
原文链接：
[2310.08560] MemGPT: Towards LLMs as Operating Systems