您的当前位置:首页 > 休闲 > 机器人也能纯视觉控制?MIT华人博士团队登上Nature主刊 正文
时间:2025-08-05 23:03:33 来源:网络整理 编辑:休闲
电子发烧友网报道文/梁浩斌)“纯视觉”的概念在近几年的智能驾驶领域被提到的次数不少,特斯拉、小鹏、以及传闻准备重组的极越,都早已全面押注到“纯视觉”的智能驾驶技术。一些智驾方案商为了推动产品落地,也正
电子发烧友网报道(文/梁浩斌)“纯视觉”的机器概念在近几年的智能驾驶领域被提到的次数不少,特斯拉、人也人博小鹏、视觉士团上以及传闻准备重组的控制刊极越,都早已全面押注到“纯视觉”的队登智能驾驶技术。一些智驾方案商为了推动产品落地,机器也正在加速推出纯视觉的人也人博方案,以降低系统成本。视觉士团上
而在机器人领域,控制刊传感器的队登应用一直都是业界研究的核心,包括3D ToF相机、机器激光雷达、人也人博毫米波雷达、视觉士团上触觉传感器、控制刊各种力矩传感器等,队登在目前主流的机器人领域都有广泛应用。
然而最近刊登在Nature主刊上的一篇论文,展示了一个机器人“纯视觉”方案。
传统机器人控制方案
传统机器人是由高刚度材料精密加工部件构成,在结构上,通过低公差关节连接,可以简化为理想化的刚性连杆运动学链。而为了让系统了解目前机器人的状态,就需要使用多种传感器进行监测,比如在每个关节配备高精度的传感器,像角度编码器等,实时测量关节的状态变化,这些数据可以用于完整重建机器人的3D位姿,再通过基于动力学模型设计控制算法(如PID、MPC),将期望运动轨迹转换为执行器指令。
论文中提到,传统的机器人控制方案存在局限性。首先是依赖机器人预设的结构和传感器,要求机器人必须具有离散关节和嵌入式传感器,无法适用于缺乏传感器的软体或混合材料机器人。
其次,在使用柔性结构的机器人中,需要解决大变形、粘弹性、材料疲劳等复杂问题,传统的基于连续介质力学的模型计算成本过高,很难实现实时控制。同时,传统的模型无法处理关节间隙或者制造公差导致的非线性动态。
另外,因为模型对于机器人公差的要求非常高,依赖精密制造和高性能材料,成本过高,开发周期长,不利于机器人的普及。
“纯视觉”机器人控制方案有什么优势?
该论文由麻省理工学院(MIT)的多位研究人员合作完成,其中论文前三作分别是李思哲、张安南和陈博远,均于MIT计算机科学与人工智能实验室(CSAIL)攻读博士学位。
那为什么会想到用“纯视觉”来构建机器人控制系统?论文团队提到,这项工作的灵感是来自于人类感知,人类通过用游戏控制器来控制机器人,可以在几分钟内就学会拾取和放置物体,而我们唯一用到的传感器就是眼睛。
在论文中,该“纯视觉”机器人控制方案是使用了名为Visuomotor Jacobian Field(视觉运动雅可比场)的技术。这是一种机器学习方法,可以使用单个视频摄像头获得的数据来控制机器人。
首先,团队使用12个消费级RGB-D视频摄像头捕获的、执行随机生成命令的多视图视频训练了框架,无需人工注释或专家定制即可学习控制新机器人。在进行训练后,这个方法仅使用单个视频摄像头就能控制机器人执行期望的动作。
其中,视觉运动雅可比场的框架主要包含两个关键部分,首先是一个基于深度学习的状态评估模型,这个模型可以仅通过单一视频流就可以推断出机器人的三维状态,编码了它的三维几何形状和微分运动学,即可以确认在任何可能得指令下,机器人在三维空间中任何点的移动方式。
其次是一个逆动力学控制器,在二维图像空间或三维空间中一密集的方式将期望的运动参数化,实时计算并输出机器人控制指令。研究团队发现,将演示轨迹参数化为密集的点运动是控制各种类型机器人系统的关键,因为可变形和灵巧机器人的运动不能被单个三维框架上指定的刚性变换很好地约束,参数化使得广泛的系统可以模仿基于视频的演示。
最终,通过该方法获得了跨平台的机器人控制能力。团队在使用16自由度的商用Allegro灵巧手进行测试时,关节角度误差可以小于3°,指尖位置误差小于4mm;使用3D打印的15气动通道软体手时,可以实现精准抓取工具,并具备抗遮挡能力;在采用剪切拉胀材料的HSA柔性腕平台上应用时,附加350g负重后仍实现7.3 mm精度;采用3D打印的Poppy教育机械臂,零部件公差较大的情况下,误差可以小于6 mm。
另外该方案能够实现无专家干预以及机器人的泛化能力,可以自动发现机器人的运动学结构,无需标注执行器与部件的对应关系。同时训练数据虽然仅包含随机的命令,但可以泛化到未被训练的运动。
采用该方案进行机器人控制,可以显著降低机器人自动化的门槛,降低机器人控制成本。其中关键创新在于将传统机器人控制的建模问题转化为基于视觉的自监督学习问题,为生物启发式机器人的实际部署开辟了新路径。
《人民日报》报道!中科亿海微“中国芯”赋能具身智能机器人2025-08-05 22:59
SK集团旗下三家ICT企业携手举行电脑捐赠2025-08-05 22:42
酷家乐到店购携手荣麟家居 定义当下生活美学2025-08-05 21:45
突破關稅壁壘 台積除了赴美設廠,還有別的可能?|天下雜誌2025-08-05 21:35
化学沉淀有哪些(化学沉淀法优缺点讲解)2025-08-05 21:25
新秀透露与王安冉离婚原因:都是我的问题2025-08-05 21:20
端午购票日历来了,假期首日火车票5月25日正式开售2025-08-05 21:17
千秋街道:合伙共建惠民生 情暖社区凝聚力_2025-08-05 20:25
【严防严控 复工复产】市“两专”服务团助力洞头企业解决难题2025-08-05 20:21
李现又去公园打鸟了 网友:简直是被演员耽误的摄影师2025-08-05 20:17
光明日报:国企的困惑2025-08-05 22:49
台積電霸氣駁傳聞,法說四重點|關稅亂世,Netflix逆勢飛|天下雜誌2025-08-05 22:29
雅戈尔时尚股份有限公司启动“提质增效重回报”行动2025-08-05 22:13
OPPO Find N5入选WAIC 2025“镇馆之宝”2025-08-05 21:58
营房社区:垃圾分类接地气 文明新风入人心_2025-08-05 21:08
泉州市新增31名省级非遗代表性传承人2025-08-05 21:07
厦门南洋学院双师型教师队伍建设经验案例登全国“百强榜”2025-08-05 21:03
定期寿险赔付条件有哪些,定期寿险赔付难不难?2025-08-05 20:57
太平洋水务五集团领导同广东省工商联副秘书长会谈2025-08-05 20:48
泰国Central Group执行主席Tos Chirathivat反思Selfridges收购案2025-08-05 20:41