FLTRNN：基于大型语言模型的机器人复杂长时任务规划

一、引言

  随着人工智能技术的快速发展，机器人在现实生活中的应用越来越广泛。然而，在日常家庭场景中，机器人需要面对一些复杂的长时任务，例如餐具摆放、食物准备等，这些任务通常包含多个步骤，且需要机器人遵循特定的规则才能顺利完成。在这种情况下，如何让机器人正确规划并执行这些任务成为了一个重要的技术挑战。

  近年来，大型语言模型（Large Language Models，LLM）凭借其强大的推理和逻辑能力，已被应用于多种任务规划场景。然而，现有的方法在应对复杂的长时任务时往往存在一定的局限性——LLM有时会忽视任务中的关键规则，从而生成不准确甚至危险的任务计划。针对这一问题，来自浙江大学的研究团队提出了一种全新的框架FLTRNN（Faithful Long-Horizon Task Planning for Robotics with Large Language Models），旨在提高LLM在复杂长时任务中的忠实性和成功率。

二、FLTRNN框架

  FLTRNN（Faithful Long-Horizon Task Planning for Robotics with Large Language Models）是一个旨在解决大型语言模型（LLM）在复杂长时任务规划中忠实性问题的框架。该框架的设计核心是通过将复杂任务分解为多个简单子任务，并结合递归神经网络（RNN）和长短期记忆（LSTM）机制进行计划推理，确保任务执行过程中能够遵循所有规则和约束条件。下面将详细介绍FLTRNN框架的技术路线。

2.1 任务分解

  在面对复杂的长时任务时，任务通常由多个步骤组成，这些步骤可能涉及不同的环境和对象交互。直接处理这些复杂任务会使LLM难以兼顾所有规则和约束。因此，FLTRNN首先通过任务分解技术将复杂任务分解为多个简单的子任务。每个子任务都可以相对独立地解决，极大地减轻了LLM在推理过程中的负担。

• 首先，框架使用LLM对全局任务目标进行分解，这一步骤生成了一个初步的抽象任务计划（Initial Plan）。这类分解类似于人类在面对复杂问题时，将其划分为若干更容易处理的子问题的过程。

• 任务分解的关键在于确保每个子任务独立且易于解决，并且分解后的子任务可以组合成完整的计划，最终达成全局任务目标。

  任务分解的结果是一个有序的初步计划P_init，它由一系列可执行的子任务组成。每个子任务在独立执行时，只需关注当前任务相关的局部规则，而无需顾及全局任务的所有复杂性。

2.2 基于语言的递归神经网络（Language-Based RNNs）

  FLTRNN框架的核心部分是基于语言的递归神经网络（RNN），该网络通过长短期记忆机制管理任务的执行。在每个子任务的执行过程中，RNN能够保持长时任务中的关键信息，并进行推理，使LLM能够更忠实地执行任务中的规则和指令。

1. 长短期记忆管理（Long-Short Term Memory）

  在复杂任务执行过程中，LLM需要同时处理长时信息（如任务目标、初始计划等）和短时信息（如当前子任务的具体规则和状态）。FLTRNN采用了长短期记忆管理机制，分别管理这两类信息。

长期记忆（Long-Term Memory, Ct）：

  长期记忆主要用于存储全局任务相关的信息，包括全局规则、全局任务目标、初步计划以及任务的总结。它记录了任务执行到当前为止的重要进展。这些信息在整个任务过程中不会改变，确保模型能够全局把握任务的方向和目标。

  具体来说，长期记忆包含以下信息：

• 全局规则（R_global）：适用于整个任务的约束规则，如任务中的物理限制。

• 全局任务目标（G_global）：任务最终需要完成的全局目标。

• 初步计划（P_initial）：由任务分解阶段生成的子任务序列。

• 任务总结（S_t）：当前执行过的子任务的进展总结。

短期记忆（Short-Term Memory, Ht）：

  短期记忆用于存储当前子任务相关的局部信息，包括当前子任务的规则、示例演示以及当前需要完成的子目标。短期记忆随着每个子任务的执行进行更新，使模型在每个子任务中只需关注与当前任务相关的信息。

  短期记忆包含以下信息：

• 局部规则（R_t）：与当前子任务相关的局部规则和限制。

• 示例演示（D_t）：针对当前子任务的操作示例，用于指导模型如何执行特定任务。

• 子目标（G_t）：当前子任务需要实现的具体目标，通常是从初步计划和任务总结中提取。

  通过长短期记忆管理机制，FLTRNN能够确保每个子任务的执行既遵循全局目标，又能在细节上严格遵循局部规则和约束。

2. 递归推理机制

  在每个子任务的执行过程中，FLTRNN使用基于语言的RNN进行推理。每个子任务的输入包括当前环境的观测信息、长期和短期记忆状态，输出则是具体的任务计划步骤和更新后的记忆状态。

  RNN的核心推理过程可以表示为：

• 输入：当前环境状态（$x_t$）、之前的输出（$o_{t-1}$）、前一时间步的隐藏状态（$h_{t-1}$）和单元状态（$c_{t-1}$）。

• 输出：当前子任务的执行计划（$o_t$），并更新隐藏状态和单元状态$（h_t,c_t）$。

  通过递归推理，FLTRNN可以在每个时间步处理子任务的局部信息，并保证当前子任务的计划生成与全局任务保持一致性。递归的设计能够有效地利用长期和短期记忆，使LLM能够同时考虑全局和局部任务目标，从而提高计划的忠实性。

2.3 增强推理能力的机制

  为了进一步提升FLTRNN在长时任务中的推理能力，框架引入了两项关键技术：规则思维链（Rule Chain of Thought，Rule-CoT）和记忆图（Memory Graph）。

1. 规则思维链（Rule-CoT）

  Rule-CoT是一种引导LLM在任务执行过程中进行规则推理的机制。通过反复推敲和应用上下文中的规则，LLM可以在执行每个步骤时持续关注任务中的约束条件。这种机制能够帮助模型在复杂环境中更加稳定地推理，从而增强计划的忠实性。

Rule-CoT的作用机制如下：

• LLM在每个子任务执行过程中，除了使用短期记忆中的局部规则外，还会回顾全局规则，确保当前行动不会违反任务的整体约束。

• 在任务执行的每一步，模型会根据上下文中的规则不断进行推理和验证，从而确保每个动作都符合任务的约束条件。

2. 记忆图（Memory Graph）

  记忆图是一种用于推测任务环境状态的外部推理模块，特别适用于开放式规划场景。在开放式规划中，任务的执行过程中可能无法直接获取环境的反馈，LLM需要不断推测环境的变化状态。记忆图通过存储任务中涉及的物体及其状态（如位置、状态变化等），帮助模型推测环境状态并确保任务计划的一致性。

  记忆图由节点（V）和关系（R）组成：

• 节点（V）：表示任务中涉及的物体，如厨房中的冰箱、微波炉等。

• 关系（R）：表示物体之间的关系（如“在某物之上”或“在某物之内”），用于推测物体的状态变化。

  通过使用记忆图，FLTRNN可以有效地推测任务环境中的变化，减轻LLM的推理负担，使模型能够更加专注于当前子任务的执行。

参考文献

[1] Zhang J, Tang L, Song Y, et al. FLTRNN: Faithful Long-Horizon Task Planning for Robotics with Large Language Models[C]//2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024: 6680-6686.