【ECCV2024】V-IRL: Grounding Virtual Intelligence in Real Life

note

• 这篇论文介绍了V-IRL平台，一个旨在弥合数字世界和物理世界之间感知差距的开源平台。通过V-IRL，代理可以利用真实的地理空间数据和街景图像，发展出丰富的感官锚定和感知能力。平台展示了其在创建多样化示例代理和开发全球基准测试方面的多功能性和适应性。未来的研究可以利用V-IRL开发和测试能够理解和与真实世界互动的代理。

一、相关背景

V-IRL: Grounding Virtual Intelligence in Real Life
论文地址：https://arxiv.org/abs/2402.03310
代码地址：https://github.com/VIRL-Platform/VIRL
项目地址：https://virl-platform.github.io/

关键词：时空智能体 多模态 地图

• 研究问题：这篇文章要解决的问题是如何弥合数字世界和物理世界之间的感知差距，使得人工智能代理能够在真实环境中像人类一样感知、思考和行动。
• 研究难点：该问题的研究难点包括：如何在没有真实硬件和控制的情况下，使代理能够在丰富多样的真实环境中进行导航、执行复杂任务并与实时场景进行交互；如何在大规模的真实世界数据上评估和优化视觉模型和语言模型的性能。
• 相关工作：该问题的研究相关工作包括：AI代理的发展，特别是基于大型语言模型（LLMs）的代理，这些代理在文本环境中表现出色，但在视觉感知方面存在局限；具身AI的研究，主要集中在模拟环境中训练机器人以执行导航和操作任务；以及开放世界计算机视觉的研究，现有模型主要依赖于互联网数据，缺乏对真实世界的广泛覆盖。

二、研究方法

1. 框架组件

论文提出了V-IRL平台，用于解决AI代理在真实环境中的感知和行动问题：

• 平台架构：V-IRL平台的核心是一个分层架构，底层提供基础设施，高层能力包括感知、推理、行动和协作。代理通过用户定义的元数据和平台组件的组合来解决特定任务。
• 环境组件：环境组件负责将代理锚定在现实世界中，提供可导航的城市表示。使用Google地图平台（GMP）访问街景图像、查询有效移动、检索附近位置信息并规划路线。
• 视觉组件：视觉组件使代理能够处理环境提供的丰富感官数据，特别是街景图像。预训练的定位模型使代理能够精确理解其环境，而开放世界识别模型则允许代理检测更广泛的对象。
• 语言组件：语言组件允许决策基于来自感知和环境的信息。LLMs（如GPT-4）接口到各种API，将环境数据和感知输出转化为可操作的洞察。

2. Diego框架

三、实验设计

• 数据收集：在全球范围内选择了14个区域，覆盖12个城市，确保数据分布的多样性。每个区域收集了地理坐标、街景图像、地点信息和地点中心图像。
• 数据清理：设计了三种自动数据清理策略：基于距离的过滤、人工审查过滤和CLIP过滤，以确保数据的高质量。
• 实验设置：在多个基准任务上评估了视觉模型和语言模型的性能，包括地点检测、地点识别和VQA、视觉语言导航等。

四、结果分析

• 地点检测：评估了三种开放世界检测模型（GroundingDINO、GLIP和Owl-ViT）和CLIP模型的表现。结果显示，CLIP模型能够识别更广泛的地点类型，而其他模型在某些地点类型上表现不佳。

• 地点识别和VQA：在地点识别任务中，CLIP模型表现最佳，而LLaVA-NeXT模型在性能上有显著提升，但仍与InterVL-1.5模型存在差距。在VQA任务中，高级LLMs（如LLaVA-NeXT和GPT-4V）表现出色，但在循环评估中存在不一致性。

• 视觉语言导航：评估了不同模型在视觉语言导航任务中的表现。结果显示，强大的LLMs在没有视觉模型辅助的情况下表现出色，但当依赖视觉模型获取地标信息时，成功率显著下降。

五、论文总结

优点与创新

• V-IRL平台：V-IRL是一个开源平台，旨在弥合数字世界和物理世界之间的感官差距，使AI代理能够在虚拟但现实的环境中与真实世界互动。
• 丰富的感官定位和感知：通过使用真实的地理空间数据和街景图像，V-IRL使代理能够发展出丰富的感官定位和感知能力。
• 多样化的示例代理：开发了多种示例代理，展示了平台的多功能性和适应性。
• 全球基准测试：开发了全球规模的基准测试，衡量基础语言和视觉模型在开放世界视觉数据上的性能，包括在孤立使用和端到端代理性能上的评估。
• 开放世界的视觉模型：讨论了“开放世界”视觉模型对全球各地真实数据的鲁棒性。
• 自动数据收集和注释：开发了一个自动化的数据/注释构建管道，允许模型在全球范围内方便地进行测试，前提是访问Google街景。
• 地理多样性：V-IRL基准测试提供了分析不同地区模型固有不一致性的机会。

不足与反思

• 数据隐私和伦理问题：尽管V-IRL使用的是预先存在的、公开可用的API，并且不捕获或提供任何以前无法访问的数据，但其主要街景图像来源Google Maps受到隐私保护措施的限制。V-IRL遵守Google Maps平台的许可协议，类似于其他利用Google街景的现有工作。
• 局限性：V-IRL使用的数据是“过时的”，并且是预处理的，提供了一个受控的环境来研究这些关注点。实时系统将面临不同的挑战。
• 未来工作：希望V-IRL能够帮助促进社区中关于未来挑战的积极讨论，特别是在部署实时系统时可能出现的伦理困境。

六、QA环节

问题1：V-IRL平台的核心架构是如何设计的？各层组件的具体功能是什么？

V-IRL平台的核心是一个分层架构，底层提供基础设施，高层能力包括感知、推理、行动和协作。具体来说，平台包括以下几个关键组件：

• 环境组件：负责将代理锚定在现实世界中，提供可导航的城市表示。利用Google地图平台（GMP），代理可以访问街景图像、查询有效移动、检索附近位置的信息和规划路线。
• 视觉组件：使代理能够处理环境提供的丰富感官数据，特别是街景图像。预训练的定位模型使代理能够精确理解其环境，而开放世界识别模型则允许代理检测更广泛的对象。
• 语言组件：允许决策基于来自感知和环境的信息。LLMs（如GPT-4）接口到各种API，将环境数据和感知输出转化为可操作的洞察。
• 协作组件：支持代理之间的协作以及与人类用户的协作，通过自然语言和地理空间数据进行交互。

这些组件共同工作，使得代理能够在虚拟但真实的环境中感知、思考和行动。

问题2：V-IRL平台在地点检测和识别任务中表现如何？有哪些模型在这些任务上表现突出？

在地点检测任务中，V-IRL平台评估了多个开放世界检测模型，包括GroundingDINO、Owl-ViT、GLIP、OpenSeeD和Owl-ViT v2。结果显示，这些模型在某些地点类型上表现较好，例如学校、咖啡馆和便利店。然而，CLIP（w/ GLIP proposal）能够识别更广泛的地点类型，表现出更强的泛化能力。

在地点识别和VQA任务中，V-IRL平台评估了10个开放世界识别模型和13个多模态大型语言模型。CLIP（L/14@336px）在识别任务中表现最佳，而LLaVA-NeXT在VQA任务中表现出色。大型闭源LLMs如GPT-4V和Qwen-VL-Max也表现优异，但在一致性方面仍存在问题。具体来说，CLIP（L/14@336px）在地点识别任务中的平均准确率为41.3%，在VQA任务中的平均准确率为65.9%。

问题3：V-IRL平台在视觉语言导航（VLN）任务中的表现如何？哪些因素影响了导航的成功率？

在视觉语言导航（VLN）任务中，V-IRL平台评估了多种模型的性能。在有Oracle地标信息的情况下，强大的LLMs如GPT-4能够准确理解导航指令，导航成功率达到100%。然而，当依赖视觉模型从街景图像中获取地标信息时，成功率显著下降，表明视觉模型的感知存在噪声，误导了LLMs的决策。具体来说，CLIP（L/14@336px）在VLN任务中的成功率仅为22%。

影响导航成功率的因素包括：

• 视觉模型的准确性：视觉模型在从街景图像中提取地标信息时存在误差，导致LLMs的决策不准确。
• 模型规模：较大的模型如CLIP（L/14@336px）在识别地标时表现更好，表明模型规模对性能有积极影响。
• 数据质量和多样性：全球范围内的数据集虽然提供了丰富的数据，但也存在地域和文化偏差，可能影响模型在不同地区的表现。