当前位置: 首页 > article >正文

具身智能技术趋势

参考:
【北京大学-董豪】具身智能技术趋势分析 2024.8

回答了具身智能技术G3、G4的必要性,以及真实数据、仿真数据、互联网数据之间的关系

具身智能趋势

趋势:寻求一个通用路径实现所有的上肢操作
要求:① 低成本 ② 拓展到所有操作任务
感觉一句话概括就是:所有物体实现所有操作

以抓取为例,使用仿真合成的技术,把3D模型导入环境里面,把场景也导入到虚拟环境里,可以合成海量的一些数据。

通过仿真学习——抓取位姿 VS 通过实采采集——端到端方法
在这里插入图片描述

仿真:静态任务,传统规控
实采:动态任务,闭环策略(类人),成本更高

趋势:仿真——端到端采集轨迹
在这里插入图片描述
仿真瓶颈:① 大量操作难以在仿真合成 ② 物理Sim2real难以解决 ③ 很多物理仿真速度远慢于实采速度

存在一个数据金字塔
在这里插入图片描述
问题就是如何找到一个通用路径既能实现低综合成本,又能拓展到所有的操作任务

自动驾驶和机器人获取数据来说,自动驾驶容易,机器人对于Corner cases难以仿真(视觉+物理)
在这里插入图片描述
在这里插入图片描述
如何用数据:真实数据A 仿真数据B 互联网数据C
① A:只用A,需要寻求低成本获取真实数据的方法
② B:只用B,涉及一些简单的场景可以,但是如果涉及到物理属性,效果比较差
③ C:只用C,肯定不行,映射不到现实场景
④ A && B:真实数据和仿真数据做一个结合,需要考虑如何结合,对齐数据
⑤ 未来就是什么数据都用,数据都有用,只不过是有多大用

分析数据的维度(3个)
一、成功率
在这里插入图片描述
互联网数据规模大,但是操作能力体现不出来,仿真数据会到达一个瓶颈,这个瓶颈不是数据量,而是物理仿真,可以对仿真数据做一些泛化,数据增广,加一些纹理,问题就是成本如何把它降下来。

在这里插入图片描述
二、泛化分级
在这里插入图片描述
在这里插入图片描述
三、算法
在这里插入图片描述
计算机视觉、模仿学习、模仿学习+强化学习
在这里插入图片描述
趋势分析:

(1) 创业公司和科技巨头会快速收敛到同时使用真实数据和仿真数据
(2) 端到端模型是大趋势,Real2Sim2Real过拟合到局部任务、落地友好基础物理仿真有待突破、有很大研究空间
(3) 开源硬件和软件百花齐放,仿真和实采技术会收敛到几个平台,技术平权时代到来


http://www.kler.cn/a/523007.html

相关文章:

  • Greenplum临时表未清除导致库龄过高处理
  • Python 包管理工具 pip - pip 基础(安装包、升级包、卸载包、查看已安装的包、列出已安装的包)
  • 出现 Error processing condition on org.springframework.cloud.openfeign 解决方法
  • 实践网络安全:常见威胁与应对策略详解
  • 不只是mini-react第二节:实现最简fiber
  • python学opencv|读取图像(四十六)使用cv2.bitwise_or()函数实现图像按位或运算
  • 编程语言中的常见Bug及解决方案
  • 2024年除夕
  • Hive存储系统全面测试报告
  • MATLAB中处理大数据的技巧与方法
  • 计算机网络之计算机网络的定义、组成与功能
  • 如何靠Python完成设备巡检
  • 数字电子技术(十六)——CMOS反相器以及CMOS反相器的电路结构和工作原理
  • python-leetcode-翻转二叉树
  • Kotlin判空辅助工具
  • 【Unity3D】实现Decal贴花效果,模拟战旗游戏地形效果
  • 基于物联网设计的疫苗冷链物流监测系统
  • 【反悔堆】【hard】力扣630. 课程表 III
  • 基于多智能体强化学习的车联网通信中时间敏感网络的路由和调度模型
  • 【漫话机器学习系列】066.贪心算法(Greedy Algorithms)
  • 物业巡更系统在现代社区管理中的优势与应用探讨
  • 深入解析 Linux 内核内存管理核心:mm/memory.c
  • 【C++】设计模式详解:单例模式
  • 青少年编程与数学 02-007 PostgreSQL数据库应用 18课题、性能监控
  • 穿心莲内酯(andrographolide)生物合成CYP72-文献精读106
  • Go:基于Go实现一个压测工具