ChatGPT +工业机器人/自动驾驶控制器的一些尝试
ChatGPT 的功能目前已扩展到机器人领域，可以用语言直观控制如机械臂、无人机、家庭辅助机器人等的多个平台。这会改变人机交互的未来形式吗？
你可曾想过用自己的话告诉机器人该做什么，就像对人说话那样？
比如说，只要告诉你的家庭助理机器人「请帮我热一下午餐」，然后它就能自己找到微波炉。很神奇，对吗？
尽管语言是人类表达意图的最直观的方式，但此前很长一段时间，人们仍然严重依赖手写代码来实现对机器人的控制。不过，当 ChatGPT 出现之后，这种情况要变一下了。
在最近的一项研究中，微软团队在探索如何使用 OpenAI 的新 AI 语言模型 ChatGPT 来使自然的人机交互成为可能。
论文链接：
https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf
ChatGPT 是一个在大量文本和人类互动语料库上训练的语言模型，因此应对广泛的 prompt 和问题时，它可以生成连贯且语法正确的响应。这项研究的目标是看看 ChatGPT 是否可以超越文本思考，并对现实世界进行推理，以帮助机器人完成任务。研究者希望以此便利人们与机器人的互动，而不需要学习复杂的编程语言或机器人系统的细节。
研究的关键挑战在于教会 ChatGPT：如何通过考虑物理定律、操作环境以及机器人运用肢体动作改变周遭环境的方式来解决问题。
事实证明，ChatGPT 本身可以做很多事情，但它仍然需要一些帮助。团队在论文中描述了一系列可用于指导语言模型解决机器人任务的设计原则，包括（但不限于）特别 prompt 结构、高级 API 和通过人类文本反馈。研究者认为，这项工作只是开发机器人系统的转变的开始，并且希望通过这项研究激励其他研究人员加入这个有趣的研究领域。
当今机器人技术面临的挑战，以及 ChatGPT 能提供的帮助
目前机器人的操作流是从工程师或技术用户开始，需要他们将任务需求转换为系统代码。工程师会处于工作流程的回路中，他们需要不断编写新的代码和规范来纠正机器人的行为。总得来说，这个过程是缓慢的（用户需要编写低级代码）、昂贵的（需要对机器人技术有深入了解的高技能用户）且低效的（需要多次交互才能正常运转）。
但 ChatGPT 开启了一种新的机器人范式，并允许潜在的非技术型用户参与到回路之中，在监视机器人性能的同时向大型语言模型（LLM）提供高级反馈。通过遵循研究的设计原则，ChatGPT 可以为机器人场景生成代码。在没有任何微调的情况下，研究利用 LLM 的知识来控制不同的机器人形状，以完成各种任务。工作中，研究人员展示了多个 ChatGPT 解决机器人难题的示例，以及在操作、空中和导航领域的复杂机器人部署。
机器人与 ChatGPT：设计原则
Prompting LLM 是一门高度实证的科学。研究通过反复试验建立了一套为机器人任务编写 prompt 的方法和设计原则：
首先，研究定义了一组高级机器人 API 或函数库。这个库可以特定于特定的机器人，并且可以映射到机器人的控制堆栈或感知库中现有的低级实现。对高级 API 使用描述性名称非常重要，这样 ChatGPT 就可以推断它们的行为；
接下来，研究人员为 ChatGPT 编写一个文本 prompt，它描述了任务目标，同时明确说明来自高级库的哪些函数是可用的。Prompt 还可以囊括关于任务约束的信息，或者 ChatGPT 应该如何形成其答案（特定的编码语言，使用辅助解析元素）；
用户在回路中评估 ChatGPT 的代码输出，要么通过直接检查，要么使用模拟器。如果需要，用户可以使用自然语言向 ChatGPT 反馈答案的质量和安全性。
用户满意解决方案的话，代码就可以最终部署到机器人上。
理论已经够多了，ChatGPT 到底能做什么？
让我们参看几个例子，你还可以在代码库中找到更多案例研究。
零样本任务计划
研究人员让 ChatGPT 控制真正的无人机，经证明，它是非技术用户和机器人之间非常直观的基于语言的接口。当用户的指令含糊不清时，ChatGPT 会提出要明晰问题，并为无人机编写复杂的代码结构以直观地检查架构，例如锯齿形模式。它甚至学会了自拍！
研究人员还使用 Microsoft AirSim 模拟器在一个模拟工业检验场景中使用 ChatGPT。该模型能够有效地解析用户的高级意图和几何线索，从而准确地控制无人机。
回路中的用户：当复杂的任务需要对话时
接下来，研究人员将 ChatGPT 用于机械臂的操作场景，并使用对话反馈来教会模型如何将最初提供的 API 组合成更复杂的高级函数：ChatGPT 自动编程。该模型能够使用课程本位策略，按照逻辑将学习到的技能链接在一起，以执行诸如堆叠块等操作。
此外，当用木块构建微软标志时，该模型展示了一个连接文本和物理域的完美示例。它不仅能够从内部知识库中回忆 logo，还能够「绘制」logo（作为 SVG 代码），然后使用上面学到的技能来找出哪些现有的机器人动作可以构成其外形。
接下来，研究人员让 ChatGPT 编写一个算法，让无人机在达到空中目标的同时不撞上障碍物。他们告诉模型，这架无人机有一个面向前方的距离传感器，ChatGPT 立即为算法编写了大部分关键构建块。这项任务需要与人进行一些对话，ChatGPT 仅使用语言反馈就能进行本地化代码改进的能力令人印象深刻。
感知 - 行动回路：机器人在行动前感知世界
在做某事（行动）之前感知世界（感知）的能力是任何机器人系统的基础。因此，研究人员决定测试 ChatGPT 对这个概念的理解，并要求它探索一个环境，直到找到用户指定的对象。研究为模型提供了对象检测和对象距离 API 等功能，并验证了它生成的代码成功实现了感知 - 行动循环。
在实验阶段，研究者进行了额外的实验，以评估 ChatGPT 是否能够根据传感器反馈实时决定机器人应该去哪里（而不是让 ChatGPT 生成一个代码回路来做出这些决定）。有趣的是，恰好验证了可以在对话的每一步中输入相机图像的文本描述，并且模型能够弄清楚如何控制机器人，直到它到达特定的对象。
PromptCraft, LLM + 机器人研究的协作开源工具
良好的 Prompt 工程对于大型语言模型的成功至关重要，例如 ChatGPT 用于机器人任务。可惜，Prompt 是一门实证科学，缺乏全面和可访问的资源，其中能为该领域的研究人员和爱好者提供帮助的例子也是良莠不齐。为了弥合这一差距，研究者引入了「PromptCraft」，这是一个协作开源平台，任何人在这里都可以分享不同机器人类别的 Prompt 策略示例，而且，研究者公布了在这项研究中使用的所有 Prompt 和对话。
除了 Prompt 设计，研究还希望包括多个机器人模拟器和界面，允许用户测试他们的 ChatGPT 生成的算法。作为开始，研究还发布了一个与 ChatGPT 集成的 AirSim 环境，任何人都可以使用它来展开这些想法。
ChatGPT-AirSim 接口
让机器人走出实验室，走向世界
发布这些技术是一件值得庆祝的事，因为这会扩大机器人技术的受众面。微软的研究人员相信，基于语言的机器人控制将会为让机器人从科学实验室走进日常用户的生活中奠定基础。
本文要强调的是，在没有仔细分析的情况下，ChatGPT 的输出并不意味着要直接部署在机器人上。研究者鼓励用户利用模拟的力量，以便在潜在的现实生活部署之前评估这些算法，并始终采取必要的安全预防措施。本文所讲述的工作只代表了在机器人领域运行的大型语言模型的交集中可能实现的一小部分，希望能为更多的研究提供灵感。