具身智能技术趋势
参考:
【北京大学-董豪】具身智能技术趋势分析 2024.8
回答了具身智能技术G3、G4的必要性,以及真实数据、仿真数据、互联网数据之间的关系
具身智能趋势
趋势:寻求一个通用路径实现所有的上肢操作
要求:① 低成本 ② 拓展到所有操作任务
感觉一句话概括就是:所有物体实现所有操作
以抓取为例,使用仿真合成的技术,把3D模型导入环境里面,把场景也导入到虚拟环境里,可以合成海量的一些数据。
通过仿真学习——抓取位姿
VS 通过实采采集——端到端方法
仿真:静态任务,传统规控
实采:动态任务,闭环策略(类人),成本更高
趋势:仿真——端到端采集轨迹
仿真瓶颈:① 大量操作难以在仿真合成 ② 物理Sim2real难以解决 ③ 很多物理仿真速度远慢于实采速度
存在一个数据金字塔
问题就是如何找到一个通用路径既能实现低综合成本,又能拓展到所有的操作任务
自动驾驶和机器人获取数据来说,自动驾驶容易,机器人对于Corner cases难以仿真(视觉+物理)
如何用数据:真实数据A 仿真数据B 互联网数据C
① A:只用A,需要寻求低成本获取真实数据的方法
② B:只用B,涉及一些简单的场景可以,但是如果涉及到物理属性,效果比较差
③ C:只用C,肯定不行,映射不到现实场景
④ A && B:真实数据和仿真数据做一个结合,需要考虑如何结合,对齐数据
⑤ 未来就是什么数据都用,数据都有用,只不过是有多大用
分析数据的维度(3个)
一、成功率
互联网数据规模大,但是操作能力体现不出来,仿真数据会到达一个瓶颈,这个瓶颈不是数据量,而是物理仿真,可以对仿真数据做一些泛化,数据增广,加一些纹理,问题就是成本如何把它降下来。
二、泛化分级
三、算法
计算机视觉、模仿学习、模仿学习+强化学习
趋势分析:
(1) 创业公司和科技巨头会快速收敛到同时使用真实数据和仿真数据
(2) 端到端模型是大趋势,Real2Sim2Real过拟合到局部任务、落地友好基础物理仿真有待突破、有很大研究空间
(3) 开源硬件和软件百花齐放,仿真和实采技术会收敛到几个平台,技术平权时代到来