你的位置:福彩3d直选综合走势图 > 新闻动态 > 港大×复旦×上交:视触觉融合+闭环纠错,让机器人双臂协作不再「盲操」
新闻动态
港大×复旦×上交:视触觉融合+闭环纠错,让机器人双臂协作不再「盲操」
发布日期:2026-04-29 10:46    点击次数:126

在小说阅读器读本章

去阅读

在具身智能快速发展的今天,高质量数据已成为驱动能力提升的关键基础,然而一个核心问题也随之而来:

如何让机器人数据采集更快、更稳、更有效?

港大联合复旦、上交大近期提出的TAMEn(Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks)给出的核心答案是:

在 UMI 框架基础上做了全方位升级——不是只给一个采集设备或训练代码,而是构建了视触感知融合 + 精度与便携兼顾 + 数据可靠性增强 + 持续进化的数据闭环。

从数据采集、策略训练,到部署纠错、再训练,整条链路被打通,让机器人学得更快、更准、更高效。

TAMEN 视触觉闭环数据引擎总体流程

上图对应 TAMEN 的三层闭环:

1. Data Collection Hardware(数采硬件层):数采设备、传感器、灵活兼容的采集方式。

2. Data Recipe(人在环数据层):在线可行性检查,数据金字塔体系。

3. Data Flywheel(价值推理与训练层):AR触觉反馈遥操作、介入纠错、闭环采集。

三者串联,形成了真实场景中的"数采 - 训练 - 部署 - 纠错 - 再训练"持续迭代闭环。

TAMEN 的技术闭环

可行性在线验证:

带拓扑约束的 marker 追踪,提升遮挡与复杂交互下的跟踪稳定性。

融合运动学与动态约束的在线可达性验证(关节限制、速度约束等),确保数据可重播,告别数据后处理清洗。

双模式数据采集:

高精度动捕,实现亚毫米精度数采

便携 VR,实现 in-the-wild 低成本采集

高精度与便携性间实现灵活切换

持续进化闭环:

推理中 AR 介入,自研 tAmeR APP,赋予遥操作者实时触觉反馈

记录 recovery 状态下的视觉、触觉、位姿信息,采集珍贵"纠错数据"

金字塔式数据体系:

从大规模单臂触觉预训练→双臂任务微调→失败恢复数据闭环优化

双臂协作任务验证

在多项双臂协作任务中,TAMEn 将平均成功率从 34% 提升至 75%,这些任务并非简单堆叠,而是覆盖了接触丰富操作中的几类典型难点:从中草药倾倒中对可变形物体的协调控制,到线缆装配中的柔性物体的适应性抓握与插入判断,再到弹簧夹收纳中的多阶段协同时序配合,以及擦盘子中的持续接触。

触觉输入、预训练和闭环纠错三者分别带来持续性能提升,且提高泛化性与鲁棒性。这标志着机器人数据采集正从"可用"迈向"可持续优化"的新阶段。

TAMEn,让机器人不再"盲操作",而是"有触觉、可进化"的协作伙伴。

项目主页:

https://opendrivelab.com/TAMEn

论文:

https://arxiv.org/abs/2604.07335

Github:

https://github.com/OpenDriveLab/TAMEn

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生  � �

感兴趣的小伙伴欢迎关注 � �  了解详情

� � 点亮星标 � �

科技前沿进展每日见



Powered by 福彩3d直选综合走势图 @2013-2022 RSS地图 HTML地图

Copyright Powered by365建站 © 2013-2024