您的当前位置:首页 > 时尚 > 机器人也能纯视觉控制?MIT华人博士团队登上Nature主刊 正文
时间:2025-08-05 23:04:31 来源:网络整理 编辑:时尚
电子发烧友网报道文/梁浩斌)“纯视觉”的概念在近几年的智能驾驶领域被提到的次数不少,特斯拉、小鹏、以及传闻准备重组的极越,都早已全面押注到“纯视觉”的智能驾驶技术。一些智驾方案商为了推动产品落地,也正
电子发烧友网报道(文/梁浩斌)“纯视觉”的机器概念在近几年的智能驾驶领域被提到的次数不少,特斯拉、人也人博小鹏、视觉士团上以及传闻准备重组的控制刊极越,都早已全面押注到“纯视觉”的队登智能驾驶技术。一些智驾方案商为了推动产品落地,机器也正在加速推出纯视觉的人也人博方案,以降低系统成本。视觉士团上
而在机器人领域,控制刊传感器的队登应用一直都是业界研究的核心,包括3D ToF相机、机器激光雷达、人也人博毫米波雷达、视觉士团上触觉传感器、控制刊各种力矩传感器等,队登在目前主流的机器人领域都有广泛应用。
然而最近刊登在Nature主刊上的一篇论文,展示了一个机器人“纯视觉”方案。
传统机器人控制方案
传统机器人是由高刚度材料精密加工部件构成,在结构上,通过低公差关节连接,可以简化为理想化的刚性连杆运动学链。而为了让系统了解目前机器人的状态,就需要使用多种传感器进行监测,比如在每个关节配备高精度的传感器,像角度编码器等,实时测量关节的状态变化,这些数据可以用于完整重建机器人的3D位姿,再通过基于动力学模型设计控制算法(如PID、MPC),将期望运动轨迹转换为执行器指令。
论文中提到,传统的机器人控制方案存在局限性。首先是依赖机器人预设的结构和传感器,要求机器人必须具有离散关节和嵌入式传感器,无法适用于缺乏传感器的软体或混合材料机器人。
其次,在使用柔性结构的机器人中,需要解决大变形、粘弹性、材料疲劳等复杂问题,传统的基于连续介质力学的模型计算成本过高,很难实现实时控制。同时,传统的模型无法处理关节间隙或者制造公差导致的非线性动态。
另外,因为模型对于机器人公差的要求非常高,依赖精密制造和高性能材料,成本过高,开发周期长,不利于机器人的普及。
“纯视觉”机器人控制方案有什么优势?
该论文由麻省理工学院(MIT)的多位研究人员合作完成,其中论文前三作分别是李思哲、张安南和陈博远,均于MIT计算机科学与人工智能实验室(CSAIL)攻读博士学位。
那为什么会想到用“纯视觉”来构建机器人控制系统?论文团队提到,这项工作的灵感是来自于人类感知,人类通过用游戏控制器来控制机器人,可以在几分钟内就学会拾取和放置物体,而我们唯一用到的传感器就是眼睛。
在论文中,该“纯视觉”机器人控制方案是使用了名为Visuomotor Jacobian Field(视觉运动雅可比场)的技术。这是一种机器学习方法,可以使用单个视频摄像头获得的数据来控制机器人。
首先,团队使用12个消费级RGB-D视频摄像头捕获的、执行随机生成命令的多视图视频训练了框架,无需人工注释或专家定制即可学习控制新机器人。在进行训练后,这个方法仅使用单个视频摄像头就能控制机器人执行期望的动作。
其中,视觉运动雅可比场的框架主要包含两个关键部分,首先是一个基于深度学习的状态评估模型,这个模型可以仅通过单一视频流就可以推断出机器人的三维状态,编码了它的三维几何形状和微分运动学,即可以确认在任何可能得指令下,机器人在三维空间中任何点的移动方式。
其次是一个逆动力学控制器,在二维图像空间或三维空间中一密集的方式将期望的运动参数化,实时计算并输出机器人控制指令。研究团队发现,将演示轨迹参数化为密集的点运动是控制各种类型机器人系统的关键,因为可变形和灵巧机器人的运动不能被单个三维框架上指定的刚性变换很好地约束,参数化使得广泛的系统可以模仿基于视频的演示。
最终,通过该方法获得了跨平台的机器人控制能力。团队在使用16自由度的商用Allegro灵巧手进行测试时,关节角度误差可以小于3°,指尖位置误差小于4mm;使用3D打印的15气动通道软体手时,可以实现精准抓取工具,并具备抗遮挡能力;在采用剪切拉胀材料的HSA柔性腕平台上应用时,附加350g负重后仍实现7.3 mm精度;采用3D打印的Poppy教育机械臂,零部件公差较大的情况下,误差可以小于6 mm。
另外该方案能够实现无专家干预以及机器人的泛化能力,可以自动发现机器人的运动学结构,无需标注执行器与部件的对应关系。同时训练数据虽然仅包含随机的命令,但可以泛化到未被训练的运动。
采用该方案进行机器人控制,可以显著降低机器人自动化的门槛,降低机器人控制成本。其中关键创新在于将传统机器人控制的建模问题转化为基于视觉的自监督学习问题,为生物启发式机器人的实际部署开辟了新路径。
激光封边和pur封边区别是什么,两种封边方式哪个好?2025-08-05 22:55
多举措扩大优质消费品进口2025-08-05 22:54
央行延续实施三项结构性货币政策工具2025-08-05 22:47
央行在港成功发行50亿元票据2025-08-05 22:17
暑期装机怎么选 技嘉板卡配显示器好用更超值2025-08-05 22:16
10年来新增减税降费和退税缓税缓费超13万亿元2025-08-05 22:12
春运第三天全国共发送旅客3712.5万人次 比去年同期增长47.9%2025-08-05 22:11
我国金融业机构总资产同比增10.1%2025-08-05 20:48
中国消费第一城又易主了2025-08-05 20:45
今天(2月27日)油价调整最新消息:下周92、95汽油价格“又贵了”2025-08-05 20:21
泉州市慈善总会荣获“全国先进社会组织”称号2025-08-05 22:33
贾跃亭评高合汽车:行业耻辱2025-08-05 22:32
2022年脱贫人口收入同比增长14.3%2025-08-05 22:23
我国绿色金融居全球前列2025-08-05 22:22
布克39分对飙莱昂纳德38分 墨西哥赛太阳胜马刺2025-08-05 22:22
中国证监会、香港证监会:原则同意进一步扩大股票互联互通标的范围2025-08-05 21:46
中央企业开足马力保供稳价2025-08-05 21:36
央行、外汇局决定延长银行间外汇市场交易时间2025-08-05 21:35
造纸废水特点及危害(造纸厂废水处理方法及设备介绍)2025-08-05 21:03
前10月装备制造业利润明显回升(新数据 新看点)2025-08-05 20:47