OpenUAV：首个专为现实无人机视觉语言导航设计的大规模轨迹数据集，由大约 12k 个轨迹组成，涵盖了多种环境和复杂的飞行动态。
2024-10-10，由北京航空航天大学人工智能研究所、香港中文大学MMLab以及感知与交互智能中心共同创建了OpenUAV数据集，首个专为现实无人机（UAV）视觉语言导航（VLN）任务设计的大型轨迹数据集，该数据集通过模拟真实环境和飞行动态，为无人机导航研究提供了重要的资源和挑战。
数据集地址：OpenUAV|无人机导航数据集|视觉语言处理数据集
一、研究背景：
随着无人机技术的发展，无人机视觉语言导航（VLN）成为了一个研究热点。VLN任务要求无人机能够根据语言指令和视觉信息自主导航至目标位置。无人机VLN任务面临着与地面代理不同的挑战，包括无人机的运动动态和空中环境的复杂性。这些挑战使得直接将地面导航方法应用于无人机变得不切实际。
目前遇到困难和挑战：
1、运动动态不匹配：无人机在三维空间中的自由运动与传统地面代理的二维运动有显著差异。
2、导航任务复杂性：无人机常在户外开放环境中工作，导航路径长且复杂，且视角多变，增加了定位和导航的难度。
3、数据集缺乏：缺少专门为现实无人机VLN任务设计的数据集，限制了算法的发展和评估。
数据集地址：OpenUAV|无人机导航数据集|视觉语言处理数据集
二、让我们一起看一下OpenUAV数据集：
OpenUAV数据集是首个专为现实无人机VLN任务设计的大规模轨迹数据集，包含了约12k个轨迹，涵盖了多种环境和复杂的飞行动态。
通过模拟真实环境和复杂的飞行动态，提供了一个全面的无人机VLN任务框架。数据集包含了丰富的轨迹信息、多层次的辅助指导，以及对复杂环境的适应性。
数据集构建：
数据集是通过OpenUAV平台收集的，该平台提供了真实的环境渲染、物体放置API、以及与AirSim插件集成的连续路径飞行模拟。数据集包含了从多个视角捕获的图像、任务描述、助手指令以及通过人工控制收集的连续轨迹。
数据集特点：
1、大规模：包含约12k个轨迹，覆盖了多种环境和复杂的飞行动态。
2、多自由度：轨迹数据包含了6自由度（6 DoF）的运动，准确捕捉了无人机的复杂飞行动态。
3、多层次辅助：提供了不同级别的助手指导，帮助无人机更好地完成现实VLN任务。
研究人员可以使用OpenUAV平台来训练和测试他们的无人机导航模型。数据集可以用于开发和评估无人机在复杂环境中的导航能力，以及测试模型对新环境和新对象的泛化能力。
基准测试：
数据集提供了一个名为UAV-Need-Help的基准测试，其中包括了不同难度级别的任务，以及在未见环境中的测试集，用于评估无人机导航模型的性能。
一个逼真的无人机仿真平台和一个新的 UAV-Need-Help 基准。OpenUAV 平台专注于逼真的无人机 VLN 任务，集成不同的环境组件、逼真的飞行模拟和算法支持。UAV-Need-Help 基准测试引入了助手引导的 UAV 对象搜索任务，其中 UAV 使用对象描述、环境信息和助手的指导导航到目标对象。
数据集构建和统计分析概述。（a） 用于生成高质量目标描述和逼真的无人机轨迹的数据收集管道。（b） - （e） 数据集的统计分析，包括轨迹长度、任务距离、对象类别和数据集分割。在 （e） 中，UM 和 UO 分别表示 Unseen Map 和 Unseen Object。
辅助机制和无人机导航概述 LLM 框架。（a） 三种不同的 Assistant 设置，用于提供不同级别的指导。（b） 无人机导航LLM 框架：指令、多视图图像和可学习的查询被编码到 MLLM 中，其中查询提取特征以预测远距离目标姿势。然后，通过轨迹完成模型使用前视输入优化此姿势，以生成精细的轨迹。
对象搜索结果的可视化。前两行表明我们的无人机成功遵循了指令。值得注意的是，第 3 到第 5 张图片描绘了无人机执行转弯动作，导致无人机的视角发生变化。第三行说明了一个失败的示例，描述了森林场景中与树木的碰撞。
三、展望OpenUAV数据集应用
比如，我是一个农业监察员
哎呀，说起农业监察这事儿，我可真是太有感触了。以前啊，我们这些农业监察员的工作可真是既费时又费力。你想啊，农田那么大，作物种类又多，我们要一个个去检查，记录它们的生长情况，那可真是一项浩大的工程。我们得开着车，或者干脆步行，穿梭在田间地头，拿着笔记本和相机，记录下每一块地的作物长势、病虫害情况，还有土壤湿度什么的。这工作不仅累人，而且效率也不高，有时候还得担心会不会漏掉一些重要的信息。
但是啊，自从我们开始用上那个通过OpenUAV数据集训练出来的无人机系统，yyds
首先，我们只需要在办公室里，用电脑规划好无人机的飞行路线，然后把它放飞到田地上空。这个无人机，它可是聪明得很，能够理解我们给它的语言指令，比如我们说“飞到第三号区域，检查一下那里的玉米生长情况”，它就能自动飞到指定的区域，然后用它的高清摄像头，给我们拍下那些玉米的详细照片。它还能自动识别作物的种类，记录下它们的生长数据，比如高度、叶片颜色什么的，这些数据都能实时传回到我们的电脑上。
更厉害的是，这个无人机还能自己规避障碍，比如突然飞来的鸟群，或者田间的电线杆，它都能巧妙地绕过去，从来不会迷路或者撞到什么东西。这样，我们就不用老是担心它会出事，可以安心地让它去工作。
等无人机飞回来，我们就能在电脑上看到它收集的所有数据和照片。这些信息都是自动整理好的，我们只需要点点鼠标，就能得到每一块地的详细报告。这比以前我们亲自下田去检查，不知道要省事儿多少倍呢！
而且，这个系统还能帮我们预测未来的作物生长趋势，比如告诉我们什么时候需要浇水，什么时候可能会有病虫害。这样，我们就能提前做好准备，采取相应的措施，保证作物的健康生长。
总之，我们的工作变得轻松多了，现在呢，我们可以花更多的时间来分析数据，制定更好的种植计划，而不是整天在田里跑来跑去。这不仅仅是提高了我们的工作效率，更重要的是，它让我们的农田管理变得更加科学和精准了。这可是以前想都不敢想的事情啊！