OpenManus-RL 通过强化学习（RL）提升大型语言模型（LLM）代理的推理和决策能力

关键要点

• OpenManus-RL 是一个开源项目，旨在通过强化学习（RL）提升大型语言模型（LLM）代理的推理和决策能力。
• 它由 Ulab-UIUC 和 MetaGPT 合作开发，基于原始 OpenManus 项目扩展。
• 项目包括一个数据集，结合了 AgentInstruct、Agent-FLAN 和 AgentTraj-L，涵盖 OS、DB、Web、KG、Household 和 E-commerce 等 6 个领域。
• 研究表明，该项目探索了多种推理模型（如 GPT-O1、Deepseek-R1、QwQ-32B）和策略（如 ToT、GoT、MCTS），并测试了 GAIA、AgentBench、WebShop 和 OSWorld 等基准。
• 它似乎可能欢迎社区贡献，包括代码、数据集和计算资源，当前仍在开发中。

项目概述

OpenManus-RL 是一个致力于通过强化学习技术优化 LLM 代理能力的开源项目。它的目标是增强代理在推理、工具使用和环境交互方面的表现，特别关注代理任务的复杂性。

背景与合作

该项目由伊利诺伊大学香槟分校的 Ulab-UIUC 和 MetaGPT 团队合作领导，基于原始的 OpenManus 项目扩展。2025 年 3 月 8 日，他们宣布与 MetaGPT 的 OpenManus 团队合作，标志着项目合作的进一步深化。

数据集与功能

OpenManus-RL 的数据集托管在 Hugging Face 上，结合了 AgentInstruct（1,866 条轨迹，平均 5.24 轮）、Agent-FLAN（34,442 条轨迹，3-35 轮）和 AgentTraj-L（14,485 条轨迹，3-35 轮），总计约 50,793 条轨迹。数据集特点包括：

• ReAct 框架：整合推理和行动。
• 结构化训练：分离格式和推理学习。
• 反幻觉措施：通过负面样本和环境接地减少错误。
• 覆盖 6 个领域：操作系统（OS）、数据库（DB）、网络（Web）、知识图谱（KG）、家庭（Household）、电子商务（E-commerce）。

支持的任务包括文本生成（ReAct 风格指令跟随）和对话 AI（工具增强对话），语言为英语。

方法与策略

项目探索了多种推理模型，包括 GPT-O1、Deepseek-R1 和 QwQ-32B，并比较了不同的推理输出格式，如 ReAct 和基于结果的推理。它们还实验了多种 rollout 策略：

• Tree-of-Thoughts (ToT)：系统探索分支可能性。
• Graph-of-Thoughts (GoT)：表示复杂的推理依赖。
• DFSDT（深度优先搜索决策树）：优化长程规划。
• Monte Carlo Tree Search (MCTS)：平衡探索和利用。

后训练策略包括监督微调（SFT）、广义奖励优化（GRPO）、近端策略优化（PPO）、直接偏好优化（DPO）和基于偏好的奖励建模（PRM）。它们还训练专门的代理奖励模型来指导训练和评估阶段。

基准测试与框架

OpenManus-RL 在 GAIA、AgentBench、WebShop 和 OSWorld 等代理基准上进行测试，以评估框架的性能。项目集成了 Verle、TinyZero、OpenR1 和 Trlx 等 RL 调优框架，以优化代理行为。

当前状态与贡献

截至 2025 年 3 月 17 日，项目仍在开发中，代码和数据集预计不久后发布。2025 年 3 月 9 日，他们在 Hugging Face 上开源了代理 SFT 数据集，3 月 6 日宣布了实时流式项目。项目欢迎社区贡献，包括微调代码库、调优数据集、环境设置和计算资源。重要贡献者将作为论文的共同作者列出。

联系方式为 kunlunz2@illinois.edu，GitHub 仓库为 OpenManus-RL GitHub。

详细报告

OpenManus-RL 是一个由 Ulab-UIUC 和 MetaGPT 合作领导的开源项目，旨在通过强化学习（RL）技术提升大型语言模型（LLM）代理的推理和决策能力。该项目基于原始的 OpenManus 项目扩展，特别关注代理任务中的工具使用和环境交互，旨在推动代理推理和工具集成的边界。

项目背景与合作

OpenManus-RL 的开发始于 2025 年 3 月 6 日，当时 Ulab-UIUC 宣布了该实时流式项目。2025 年 3 月 8 日，他们进一步宣布与 MetaGPT 的 OpenManus 团队合作，标志着项目合作的深化。根据 OpenManus-RL GitHub 的信息，该项目受到 Deepseek-R1 和 QwQ-32B 等成功 RL 调优推理 LLM 的启发，探索新的 RL 基于的 LLM 代理调优范式。

数据集详情

数据集是 OpenManus-RL 的核心组成部分，托管在 Hugging Face 上，URL 为 OpenManus-RL Dataset。它结合了多个来源的代理轨迹：

• AgentInstruct：1,866 条轨迹，平均 5.24 轮，多任务 QA 和 CoT 推理。
• Agent-FLAN：34,442 条轨迹，3-35 轮，包含错误恢复模式和多样化的现实世界任务。
• AgentTraj-L（AgentGym）：14,485 条轨迹，3-35 轮，交互式环境和任务。

组合后，总计 50,793 条轨迹，平均 4-20 轮，增强了泛化能力，并采用统一格式覆盖更广泛的任务。数据集特点包括：

• ReAct 框架：通过推理-行动整合提升代理能力。
• 结构化训练：分离格式和推理学习，便于模块化优化。
• 反幻觉措施：通过负面样本和环境接地减少幻觉。
• 6 个领域覆盖：OS（操作系统）、DB（数据库）、Web（网络）、KG（知识图谱）、Household（家庭）、E-commerce（电子商务）。

支持的任务包括文本生成（ReAct 风格指令跟随）和对话 AI（工具增强对话），语言为英语。数据实例示例为 ReAct 模式，如：

{
  "id": "os_0",
  "conversations": [
    {"role": "user", "content": "Count files in /etc"},
    {"role": "assistant", "content": "Think: Need reliable counting method\nAct: bash\n```bash\nls -1 /etc | wc -l\n```"},
    {"role": "user", "content": "OS Output: 220"},
    {"role": "assistant", "content": "Think: Verified through execution\nAct: answer(220)"}
  ]
}

许可证为 Apache 2.0，最近一个月下载量为 635 次。

方法与策略

OpenManus-RL 提出了一个先进的 RL 基于的代理调优框架，旨在显著增强 LLM 的推理和决策能力，受到 RAGEN 的 Reasoning-Interaction Chain Optimization (RICO) 的启发。方法包括：

• 推理模型探索：评估多种状态的艺术推理模型，如 GPT-O1、Deepseek-R1 和 QwQ-32B，以指导下游优化和训练策略。
• 替代 rollout 策略：实验多种策略以提升代理规划效率和推理鲁棒性，包括：
  • Tree-of-Thoughts (ToT)：采用树状推理路径，系统探索分支可能性。
  • Graph-of-Thoughts (GoT)：利用图结构表示复杂的推理依赖。
  • DFSDT（深度优先搜索决策树）：通过深度优先搜索优化行动选择，增强长程规划。
  • Monte Carlo Tree Search (MCTS)：概率探索推理和决策路径，平衡探索和利用。
• 多样化推理格式：分析和比较多种推理输出格式，如 ReAct（整合推理和行动）和基于结果的推理（优化明确结果预测）。
• 后训练策略：调查多种后训练方法，包括：
  • 监督微调（SFT）：使用人类注释的指令初始化推理能力。
  • 广义奖励优化（GRPO）：包括格式奖励（奖励遵循指定结构）和基于结果的奖励（奖励准确完成任务和目标达成）。
  • 近端策略优化（PPO）：通过近端更新增强代理稳定性。
  • 直接偏好优化（DPO）：利用明确的人类偏好直接优化代理输出。
  • 基于偏好的奖励建模（PRM）：使用从人类偏好数据中学习的奖励函数。
• 代理奖励模型训练：使用注释数据训练专门的代理奖励模型，量化细致的奖励信号，指导训练和评估阶段的代理轨迹选择。
• 测试时轨迹缩放：在推理阶段实现轨迹缩放方法，使代理灵活适应不同任务复杂性，增强鲁棒性和性能。
• 行动空间意识和战略探索：装备代理以行动空间意识，采用系统探索策略有效导航复杂行动空间，最大化预期奖励。
• 与 RL 调优框架的整合：集成了 Verle、TinyZero、OpenR1 和 Trlx 等领先 RL 调优框架，帮助代理平衡探索和利用，优化推理过程，动态适应新环境。

基准测试与评估

OpenManus-RL 在多个代理基准上进行测试，包括 GAIA、AgentBench、WebShop 和 OSWorld，以评估框架在不同任务上的表现。这些基准测试确保了调优模型的泛化和有效性。

当前状态与社区参与

截至 2025 年 3 月 17 日，OpenManus-RL 仍在开发中，代码和数据集预计不久后发布。项目动态包括：

• 2025 年 3 月 9 日：在 Hugging Face 上开源代理 SFT 数据集，URL 为 OpenManus-RL Dataset。
• 2025 年 3 月 8 日：宣布与 MetaGPT 的 OpenManus 团队合作。
• 2025 年 3 月 6 日：宣布实时流式项目。

项目欢迎社区贡献，包括微调代码库、调优数据集、环境设置和计算资源。贡献者可以创建问题（feature requests、bug reports 或 ideas）或提交拉取请求（pull requests）以改进 OpenManus-RL。直接合作也受到鼓励，重要贡献者将作为论文的共同作者列出。联系方式为 kunlunz2@illinois.edu，GitHub 仓库为 OpenManus-RL GitHub。

引用与资源

若发现 OpenManus-RL 有帮助，请引用以下论文：

@misc{OpenManus,
  author       = {OpenManus-RL Team},
  title        = {OpenManus-RL: Open Platform for Generalist LLM Reasoning Agents with RL optimization},
  year         = {2025},
  organization = {GitHub},
  url          = {https://github.com/OpenManus/OpenManus-RL},
}

表格：数据集概览

以下是数据集的详细统计：

关键引用

• OpenManus-RL GitHub 仓库详细信息
• OpenManus-RL 数据集在 Hugging Face 上

关键要点

• 研究表明，OpenManus-RL 项目使用多种后训练策略，包括监督微调（SFT）、广义奖励优化（GRPO）、近端策略优化（PPO）、直接偏好优化（DPO）和基于偏好的奖励建模（PRM）。
• 这些策略似乎用于优化大型语言模型（LLM）代理的推理和决策能力，特别是在代理任务中。
• 它们还训练专门的代理奖励模型来指导训练和评估阶段，这可能涉及使用注释数据来量化奖励信号。

什么是后训练策略？

OpenManus-RL 项目采用多种后训练策略来提升 LLM 代理的表现。这些策略包括：

监督微调（SFT）

• SFT 是通过特定数据集进一步训练预训练模型以适应特定任务或领域的方法。
• 在此项目中，SFT 使用人类注释的指令来初始化模型的推理能力。

广义奖励优化（GRPO）

• GRPO 是项目定义的强化学习（RL）细调方法，结合多种奖励函数。
• 它包括格式奖励（奖励模型遵循指定推理结构，如 ReAct 格式）和结果奖励（奖励准确完成任务和目标达成）。
• GRPO 脚本显示使用“accuracy”（准确性）、“format”（格式）和“tag_count”（标签计数）作为奖励函数。

近端策略优化（PPO）

• PPO 是一种已知的 RL 算法，通过确保新策略与旧策略偏差不大来稳定训练。
• 在此项目中，PPO 用于增强代理在训练过程中的稳定性。

直接偏好优化（DPO）

• DPO 是一种基于人类偏好的优化方法，通过比较输出对（一个优于另一个）直接优化模型。
• 它帮助模型的行为更符合人类期望。

基于偏好的奖励建模（PRM）

• PRM 涉及从人类偏好数据中训练奖励模型，然后在 RL 训练中使用该模型。
• 它将人类反馈转化为 RL 算法可用的数值奖励。

如何使用这些策略？

这些策略通常按以下工作流使用：

1. 先进行 SFT 以适应代理指令格式。
2. 然后使用 GRPO（可能结合 PPO）进行 RL 细调，基于准确性、格式和标签计数的奖励优化。
3. DPO 和 PRM 可作为补充或替代方法，特别用于整合人类偏好。

训练代理奖励模型

项目还训练专门的代理奖励模型，使用注释数据量化细致的奖励信号。这可能涉及标记某些行为为好或坏，或按比例评分，用于指导训练和评估阶段的代理轨迹选择。

详细报告

OpenManus-RL 是一个由 Ulab-UIUC 和 MetaGPT 合作领导的开源项目，旨在通过强化学习（RL）技术提升大型语言模型（LLM）代理的推理和决策能力。该项目特别关注代理任务中的工具使用和环境交互，采用多种后训练策略来优化代理表现，包括监督微调（SFT）、广义奖励优化（GRPO）、近端策略优化（PPO）、直接偏好优化（DPO）和基于偏好的奖励建模（PRM）。此外，他们还训练专门的代理奖励模型来指导训练和评估阶段。

项目背景与合作

OpenManus-RL 的开发始于 2025 年 3 月 6 日，当时 Ulab-UIUC 宣布了该实时流式项目。2025 年 3 月 8 日，他们进一步宣布与 MetaGPT 的 OpenManus 团队合作，标志着项目合作的深化。根据 OpenManus-RL GitHub 的信息，该项目受到 Deepseek-R1 和 QwQ-32B 等成功 RL 调优推理 LLM 的启发，探索新的 RL 基于的 LLM 代理调优范式。

后训练策略详解

监督微调（SFT）

• SFT 是一种标准的技术，通过在特定数据集上进一步训练预训练模型来适应特定任务或领域。
• 在 OpenManus-RL 中，SFT 使用人类注释的指令来初始化模型的推理能力。
• 例如，模型可能被训练以遵循 ReAct 格式的指令，整合推理和行动。
• SFT 的目的是为后续的 RL 优化奠定基础，确保模型能够理解代理任务的指令格式。

广义奖励优化（GRPO）

• GRPO 是 OpenManus-RL 项目定义的 RL 细调方法，旨在结合多种奖励函数优化代理行为。
• 它包括：
  • 格式奖励：奖励模型遵循指定推理结构，如 ReAct 格式，确保输出符合预期格式。
  • 结果奖励：奖励准确完成任务和目标达成，例如正确回答用户查询或完成代理任务。
• GRPO 脚本（openmanus_rl.grpo.py）显示使用“accuracy”（准确性）、“format”（格式）和“tag_count”（标签计数）作为奖励函数。
• “accuracy”可能对应结果奖励，检查最终答案是否正确；“format”对应格式奖励，检查是否遵循结构；“tag_count”可能涉及特定标签或元素的计数。
• GRPO 可能是使用 PPO 或其他 RL 算法的自定义实现，具体算法未明确，但从脚本看，它是主要 RL 细调方法。

近端策略优化（PPO）

• PPO 是一种已知的 RL 算法，旨在通过限制策略更新幅度来稳定训练。
• 它通过近端更新确保新策略与旧策略偏差不大，防止训练过程中的不稳定。
• 在 OpenManus-RL 中，PPO 用于增强代理在训练过程中的稳定性，可能作为 GRPO 的一部分或替代方法。
• 例如，在多轮对话中，PPO 帮助模型保持一致性，避免突然偏离先前行为。

直接偏好优化（DPO）

• DPO 是一种基于人类偏好的优化方法，通过比较输出对（一个优于另一个）直接优化模型。
• 它不依赖传统奖励函数，而是从人类偏好数据中学习，例如选择一个输出优于另一个。
• 在 OpenManus-RL 中，DPO 用于更紧密地对齐模型行为与人类期望，可能用于补充 GRPO 或在特定任务中优化。
• 例如，DPO 可用于确保代理的回答更自然或更符合用户意图。

基于偏好的奖励建模（PRM）

• PRM 涉及从人类偏好数据中训练奖励模型，然后在 RL 训练中使用该模型。
• 它将人类反馈转化为数值奖励，指导 RL 算法优化代理行为。
• 在 OpenManus-RL 中，PRM 可能用于训练专门的代理奖励模型，量化细致的奖励信号。
• 例如，人类可能标记某些代理行为为“好”或“坏”，PRM 将这些标记转化为奖励值，用于训练和评估。

训练代理奖励模型

• OpenManus-RL 项目还训练专门的代理奖励模型，使用注释数据来量化细致的奖励信号。
• 注释数据可能包括标记某些行为为好或坏，或按比例评分，例如在 ReAct 格式中，检查“Think”和“Act”步骤是否正确。
• 该奖励模型用于指导训练和评估阶段的代理轨迹选择，例如在 RL 训练中决定哪个行动更优。
• 这与 PRM 相关，可能是在 PRM 框架下实现的。

策略整合与工作流

• OpenManus-RL 的后训练策略通常按以下工作流使用：
  1. SFT：首先进行监督微调，适应代理指令格式，使用人类注释的指令初始化模型。
  2. GRPO：然后使用 GRPO 进行 RL 细调，基于“accuracy”、“format”和“tag_count”的奖励优化代理行为。
  3. PPO、DPO 和 PRM：这些方法可能作为 GRPO 的补充或替代，PPO 增强稳定性，DPO 和 PRM 整合人类偏好。
• 从脚本看，GRPO 是主要 RL 细调方法，SFT 是初始化步骤。

实施细节

• SFT 实施：用户可使用提供的 SFT 脚本，指定模型（如 Qwen/Qwen2.5-1.5B-Instruct）和数据集（如 CharlieDreemur/OpenManus-RL），设置学习率、批次大小等超参数。
• GRPO 实施：使用 openmanus_rl.grpo.py 脚本，指定奖励函数（如 accuracy、format、tag_count），单 GPU 训练命令示例：

  python -m openmanus_rl.grpo \
  --model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
  --dataset_name CharlieDreemur/OpenManus-RL-GRPO \
  --learning_rate 2.0e-5 \
  --num_train_epochs 1 \
  --max_seq_length 4096 \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 8 \
  --gradient_checkpointing \
  --bf16 \
  --reward_funcs accuracy format tag_count \
  --logging_steps 5 \
  --output_dir data/grpo-output
  

• 注意数据集名称可能需调整，确保与 Hugging Face 上一致（如 CharlieDreemur/OpenManus-RL）。

数据集与奖励函数

• 数据集结合 AgentInstruct、Agent-FLAN 和 AgentTraj-L，总计约 50,793 条轨迹，覆盖 OS、DB、Web、KG、Household 和 E-commerce 6 个领域。
• 奖励函数如“format”可能检查 ReAct 格式的“Think”和“Act”步骤，“accuracy”检查最终答案正确性，“tag_count”可能涉及特定标签计数。

表：后训练策略对比

结论

OpenManus-RL 的后训练策略为 LLM 代理提供了全面的优化框架，SFT 初始化模型，GRPO 为主的 RL 细调结合多种奖励，PPO 增强稳定性，DPO 和 PRM 整合人类偏好。训练的代理奖励模型进一步指导训练和评估，确保代理在复杂任务中的表现。

关键引用

• OpenManus-RL GitHub 详细项目信息
• OpenManus-RL 数据集在 Hugging Face 上

构建这些数据集所需要的规范

关键要点

• 研究表明，构建 OpenManus-RL 数据集需要特定的规范，包括数据结构、领域覆盖、数据来源、生成方法和质量控制。
• 它似乎可能需要统一的数据格式（如 ReAct 格式），覆盖 OS、DB、Web、KG、Household 和 E-commerce 六个领域。
• 数据集可能结合合成数据生成、代理调优数据处理和轨迹数据收集，规模需达到约 50,793 条轨迹。

数据结构与格式

OpenManus-RL 数据集的每个数据点应为 JSON 对象，包含对话列表，每个对话有“role”（角色）和“content”（内容）字段。助手的“content”应遵循 ReAct 格式，包括“Think”（思考）和“Act”（行动）步骤。

领域与任务

数据集必须覆盖六个领域：操作系统（OS）、数据库（DB）、网络（Web）、知识图谱（KG）、家庭（Household）和电子商务（E-commerce），并包括各领域的多样化任务。

数据生成与收集

• 合成数据生成：从原始文本文档、代码文件等生成指令对，使用代理流（如 AgentInstruct）生成提示和响应。
• 代理调优数据处理：分解训练语料为格式遵循和代理推理部分，生成负面样本以减少幻觉。
• 轨迹数据收集：通过交互式环境（如 AgentGym）记录代理的行动和状态序列。

质量与规模

数据需确保准确性，过滤低质量或错误数据点，规模需可扩展至约 50,793 条轨迹。

详细报告

OpenManus-RL 数据集是一个由 AgentInstruct、Agent-FLAN 和 AgentTraj-L 组合而成的综合数据集，旨在通过强化学习（RL）技术提升大型语言模型（LLM）代理的推理和决策能力。以下是构建此类数据集所需的详细规范，涵盖数据结构、内容要求、生成方法和质量控制等方面。

数据集结构与格式

• JSON 格式：每个数据点应为 JSON 对象，包含一个对话列表。每个对话项包括“role”（角色，如“user”或“assistant”）和“content”（内容）字段。
• ReAct 格式：助手的“content”必须遵循 ReAct 格式，明确包括“Think”（思考）和“Act”（行动）步骤。例如：

  {
    "id": "os_0",
    "conversations": [
      {"role": "user", "content": "Count files in /etc"},
      {"role": "assistant", "content": "Think: Need reliable counting method\nAct: bash\n```bash\nls -1 /etc | wc -l\n```"},
      {"role": "user", "content": "OS Output: 220"},
      {"role": "assistant", "content": "Think: Verified through execution\nAct: answer(220)"}
    ]
  }
  

• 兼容性：数据格式应与 Hugging Face 数据集兼容，便于集成到微调管道中。

领域覆盖与任务多样性

• 领域要求：数据集必须覆盖六个领域：操作系统（OS）、数据库（DB）、网络（Web）、知识图谱（KG）、家庭（Household）和电子商务（E-commerce）。
• 任务多样性：每个领域应包括多种任务，例如 OS 领域的文件计数、DB 领域的查询执行、Web 领域的导航等，确保数据覆盖广泛的代理场景。

数据来源与生成方法

• 合成数据生成（如 AgentInstruct）：
  • 数据来源：使用原始文本文档、代码文件等作为种子数据。
  • 生成方法：采用代理流（如 AgentInstruct 的生成框架）通过大型语言模型（LLM）生成提示和响应。生成过程可能涉及多阶段处理，包括内容转换、指令生成和细化。
  • 质量控制：应用过滤标准，确保生成数据的多样性和高质量，例如检查幻觉问题。
• 代理调优数据处理（如 Agent-FLAN）：
  • 语料分解：将训练语料分解为格式遵循（如 ReAct 格式）和代理推理（如推理步骤）部分。
  • 负面样本：生成和包含负面样本以减少模型幻觉，例如错误的行动或不相关的推理。
  • 来源数据集：基于 AgentInstruct 和 Toolbench 等现有数据集，进一步处理以增强代理能力。
• 轨迹数据收集（如 AgentTraj-L）：
  • 环境实现：使用交互式环境（如 AgentGym 框架）提供代理交互的平台，包括 14 种环境（如网络导航、文本游戏、家庭任务等）。
  • 任务定义：在每个环境中定义具体任务，确保任务多样性和挑战性。
  • 代理交互协议：定义代理与环境的交互方式，包括行动格式（如命令）和状态观察（如环境反馈）。
  • 轨迹记录：记录代理的行动序列和环境状态变化，形成轨迹数据。

质量控制与规模要求

• 数据准确性：确保行动和答案的正确性，通过验证或环境反馈检查。
• 过滤机制：过滤低质量或错误数据点，例如幻觉严重的样本。
• 规模要求：生成过程需可扩展，目标达到约 50,793 条轨迹，覆盖多轮对话（平均 4-20 轮）。
• 多样性：确保数据覆盖不同任务类型和领域，增强模型的泛化能力。

标准化与文档

• 格式统一：所有数据点必须采用统一的 ReAct 格式，便于集成和处理。
• 文档要求：提供详细文档，说明数据集的创建过程，包括数据来源、生成方法和质量控制措施。例如，说明如何从 AgentInstruct 生成指令对，或如何在 AgentGym 中收集轨迹。

实施细节与资源

• 计算资源：生成和处理大型数据集可能需要 GPU 支持，特别是运行 LLM 生成数据。
• 存储需求：确保有足够的存储空间保存约 50,793 条轨迹的数据。
• 工具支持：使用 Hugging Face 数据集工具或类似框架管理数据。

表：数据集来源与特点对比

结论

构建 OpenManus-RL 数据集需要综合考虑数据结构、领域覆盖、生成方法和质量控制。规范包括采用 ReAct 格式、覆盖六个领域、通过代理流生成合成数据、在交互式环境中收集轨迹，并确保数据规模和质量。这些规范确保数据集适合用于微调 LLM 代理，提升其推理和决策能力。

关键引用

• THUDM/AgentInstruct 数据集详细信息
• internlm/Agent-FLAN 数据集详细信息
• AgentGym/AgentTraj-L 数据集详细信息
• AgentGym 框架概述
• AgentInstruct 生成框架论文
• Agent-FLAN 论文
• AgentGym 论文
• Orca-AgentInstruct 数据集论文