高德发布人形机器人模型 λ0,使用500小时人类视频数据训练

10月26日,高德与阿里巴巴Token Hub事业群联合推出具身智能模型λ₀,尝试利用人类日常活动视频及动作数据训练人形机器人,使其学习行走、搬运和双手操作等需要全身协调的任务。 据项目团队介绍,研究构建了HumanVerse数据集,包含500小时开放环境下采集的人类活动数据。数据通过可穿戴设备记录第一视角视频,并同步采集身体运动信息、重建手部动作,再经过视…
10月26日,高德与阿里巴巴Token Hub事业群联合推出具身智能模型λ₀,尝试利用人类日常活动视频及动作数据训练人形机器人,使其学习行走、搬运和双手操作等需要全身协调的任务。
据项目团队介绍,研究构建了HumanVerse数据集,包含500小时开放环境下采集的人类活动数据。数据通过可穿戴设备记录第一视角视频,并同步采集身体运动信息、重建手部动作,再经过视角匹配和动作对齐,转化为适配人形机器人的训练数据。
训练方面,λ₀采用三阶段训练流程,先通过多样化的第一视角人类视频学习物体交互与手部动作,再利用HumanVerse数据训练身体与手部的协调控制,最后通过针对机器人任务的数据进行适配,团队将相关方法应用于宇树G1人形机器人,探索人类动作经验向机器人控制能力的迁移。
根据项目官网公布的实验结果,λ₀在SIMPLE基准测试中的成功率达到90.0%;在四项真实场景移动操作任务中,模型完成40次测试中的25次,成功率为62.5%,较论文所比较的最强基线高22.5个百分点。
目前,机器人训练仍面临高质量示范数据采集成本高、任务和场景覆盖有限等问题。λ₀尝试将无需机器人参与采集的人类全身动作数据引入训练流程,为扩大具身智能训练数据规模提供了新思路。
上一篇: Even Realities推出G2棕色款智能眼镜,单副经20小时手工打磨
下一篇: 纽约市警察局引入VR模拟训练,覆盖枪击事件、危机干预等复杂执法场景
(*收到爆料后VR陀螺将尽快联系爆料者进行二次确认,并判断内容是否适合发布。)
友情链接: 第十届金陀螺奖 陀螺科技会员 前方智能 游戏陀螺 歌尔 高通 vive PICO 雷鸟创新 亚洲电玩通