当前位置: 首页 > article >正文

具身智能(Embodied Intelligence)概述

目录

一、引言 

二、具身感知

三、具身交互

四、具身智能体 

 五、虚拟到现实 


一、引言 

最近无论是斯坦福机器人炒虾,还是特斯拉官宣机器人进厂,都赚足了眼球,实力证明了具身智能(Embodied Intelligence)的火爆。

先不说具身智能是实现AGI的关键环节,也是未来研究的重要方向,从发论文的角度来看,今年的各大顶会,比如CVPR,具身智能就排了热门研究领域前三,可见入局具身智能早已成了必然趋势。

具身智能(Embodied Intelligence)是人工智能和认知科学中的一个研究方向,着重于研究智能体如何通过与物理环境的互动来获得和展现智能。与传统的计算机智能不同,具身智能强调智能体的身体和环境在认知过程中的重要性。这种研究关注如何通过身体的感知、运动和与环境的交互来实现学习和智能行为。具身智能的核心理念是,智能不仅仅是计算和信息处理的结果,而是身体与环境相互作用的产物。通过研究和模拟这种互动,科学家们希望能更好地理解和实现类似人类的智能系统。

目前具身智能主要四个研究目标:具身感知、具身互动、具身智能体、虚拟到现实。如果大家想冲顶会,建议从这四个角度入手。

二、具身感知

论文:Embodiedscan: A holistic multi-modal 3d perception suite towards embodied ai

方法:EmbodiedScan是一个新的多模态3D感知数据集,提供了丰富的室内场景注释,支持自我中心视角下的语言基础的全面3D场景理解。基于此数据集,论文提出了Embodied Perceptron框架,用于处理多视图输入,并在3D感知和语言基础任务上表现出色。

创新点:

  • EmbodiedScan:从自我中心视图实现基于语言的整体三维场景理解的多模态感知套件。

  • 基于一个大规模的数据集,提出了一个基准框架,能够处理任意数量的视图输入,使用统一的多模态编码器和任务特定的解码器。

三、具身交互

论文:Dexterous Grasp Transformer

方法:论文提出了一种名为Dexterous Grasp Transformer(DGTR)的新框架,用于生成灵巧抓取姿势。DGTR利用transformer解码器和可学习的抓取查询,仅通过一次前向传播就能从物体的点云中预测出多样化的可行抓取姿势集合。

创新点:

  • 动-静匹配训练策略(DSMT):通过引入动-静匹配训练策略,在显著提高Q1的同时,减少了约50%的穿透损失。

  • 对抗平衡的测试时适应(AB-TTA):通过引入对抗平衡的测试时适应模块(AB-TTA),显著提高了Q1值,并同时增强了ηnp和ηtb的性能。

、具身智能体 

论文:Embodied Multi-Modal Agent trained by an LLM from a Parallel TextWorld

方法:论文提出了一种名为EMMA(Embodied Multi-Modal Agent)的方法,通过跨模态交互模仿学习,将一个在文本世界中表现出色的大型语言模型(LLM)专家的知识迁移到一个在视觉世界中的具身多模态代理上。

创新点:

  • 通过回顾反思,EMMA在时间上得到了改进。通过比较EMMA和去掉回顾机制的EMMA的平均成功率,作者发现EMMA的回顾机制显著优于没有回顾机制的EMMA。

  • 通过在特定噪声率下对EMMA和SOTA LLM代理(Reflexion)进行比较,作者发现随着噪声率的增加,EMMA的性能仍然比Reflexion更具鲁棒性。

 五、虚拟到现实 

论文:GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation

方法:论文提出了GenH2R,一个用于学习通用的基于视觉的人机交互(Human-to-Robot, H2R)交接技能的框架。该框架通过可扩展的模拟环境GenH2R-Sim、自动化的演示生成方法和一种辅助预测的4D模仿学习方法,实现了对机器人接收人类以各种复杂轨迹递交的不同几何形状物体的能力的培训。

创新点:

  • GenH2R-Sim是一个新的仿真环境,包含了数百万个人与机器人交接的动画,用于支持一般化的H2R交接学习。

  • 文中介绍了一种适用于大规模演示生成的方法,可以自动生成适合学习的高质量演示。

  • 文中还提出了一种基于预测的4D模仿学习方法,用于将演示提炼为视觉-运动交接策略。


http://www.kler.cn/a/285106.html

相关文章:

  • 并行编程实战——TBB框架的应用之四Supra对CUDA的支持
  • [2024最新] macOS 发起 Bilibili 直播(不使用 OBS)
  • HTB:Perfection[WriteUP]
  • 【css flex 多行均分有间隙布局】
  • 基于redis实现API接口访问次数限制
  • Node.js——fs模块-文件删除
  • 【Redis】哨兵(Sentinel)
  • 1098 Insertion or Heap Sort
  • 在Docker中使用环境变量改变SpringBoot程序配置
  • 在React中使用TypeScript和Material-UI v5时,要为单个.tsx文件创建一个局部作用域的.scss文件如何做? 另外主题如何获取呢?
  • 【Linux修行路】进程通信——共享内存
  • erlang学习:用OTP构建系统1
  • Java算法之堆排序(Heap Sort)
  • 【软考】路由器
  • C++ 移动构造函数为什么设置noexcept?
  • python网络爬虫(零)——认识网页结构
  • Linux主机网络参数的设置—IP地址的作用和类型
  • LabVIEW呼吸机测试系统开发
  • sqli-labs靶场通关攻略(五十一到五十六关)
  • 【c++】日期类相关实践:计算日期到天数转换、日期差值
  • 如何打造免费体育馆场地预约系统?php vue技术实现,简易操作指南
  • Veeam Data Platform 12.2 发布下载,新增功能概览
  • K8S(Kubernates) 知识目录
  • Redis缓存的一些案例
  • 带权重的随机算法
  • 机械学习—零基础学习日志(概率论总笔记1)