Article Detail

榜单之外:一场48小时真机赛,检验具身大模型的真实成色

围绕当前话题进行整理与延展,帮助读者更完整理解内容背景、核心信息与后续变化。

榜单之外:一场48小时真机赛,检验具身大模型的真实成色

榜单之外:一场48小时真机赛,检验具身大模型的真实成色

非凡体育赛事资讯中心|赛程比分与球队动态 450 阅读 约 5.5 分钟

机器人前瞻(公众号:robot_pro) 作者 许丽思 编辑 漠影 今年以来,具身智能行业的Benchmark榜单格外热闹:新模型接连发布,SOTA不断被刷新。 以真机评测平台RoboChallenge为例,上线一年来,Table30榜首几度易主,最高任务成功率便由四成多攀升至接近七成。各类机器人演示视频里,动作也越来越流畅。 榜单的价值在于可比性,在统一的任务和条件下,衡量模型能力的进展。但产业还关心另一个问题: 如果把 模型交给外部开发者,换一批人、换一批数据、换一个操作环境,它的成功率又会是怎样的情况? 今天,上海的一场48小时真机决赛,把这个问题交给了开发者。 这场由蚂蚁灵波发起的 具身大模型挑战赛, 共吸引1855支队伍、3252名选手报名,覆盖13个国家。经过线上仿真初赛,最终15支战队进入真机决赛,共同使用开源具身大模型LingBot-VLA 2.0和松灵COBOT MAGIC机器人,在48小时内完成模型调优、真机部署和任务挑战。 榜单能够反映模型在既定条件下的水平,而开发者能用多少数据、花多少时间,将这些能力转化为稳定的真实操作,才更接近具身大模型的产业价值。 一、从仿真到真机,48小时里发生了什么? 在决赛现场,我们发现,参赛者的背景相当多元:有具身智能科研人员,也有互联网算法、自动驾驶领域的跨界工程师,有第一次接触真机的本科生、大厂员工,还有通过小红书临时组队的年轻开发者…… 开源基模让这些开发者的跨界探索有了共同起点, 也提供了验证他们已有技术经验的新机会。 比如,“fbfyfbf”队借助开源文档和AI编程助手搭建训练环境,“416一定行”队将搜索推荐领域的方法引入机器人开发,“有手就行”队则尝试迁移自动驾驶领域的技术经验。基于LingBot-VLA 2.0,他们能够快速进入具身研发环节。 但真正走上真机赛场,难题很快变得具体。决赛题目有三项: 一是用单臂抓取水果和蔬菜,二是用单臂抓取化妆品并放入透明盒,三是用双臂配合清扫桌面垃圾,再倒入收纳筐, 这些任务对机器人的视觉理解、空间感知和动作执行都提出了较大考验。 第一道难关就是 数据。 有选手在路演中提到,官方提供了647条公共数据,但没有覆盖全部任务情况。例如,水果摆放中出现了杨桃、青尖椒等缺少相应示范的物体,选手只能通过遥操作自行补采。 不过, 数据并非采得越多越好,采什么、怎么采同样关键。 “416一定行”队在决赛中新增了一百多条数据,却因采集内容与评测任务不够匹配,后续成绩反而未能超过第一轮。其他战队也发现,针对失败动作、困难物体和任务薄弱环节补采数据,往往比盲目扩大数据规模更有效。 第二道难关来自 真实物理环境。 很多问题在仿真阶段并不明显,不少队伍还是第一次碰真机,这些挑战更是超出了之前的预期。 有队伍反映,透明收纳盒的空间层次很难准确识别、现场的光照变化也可能影响机器人视觉判断;还有机器人抓取水果反复失败、机械臂伸展后出现下坠,以及清扫任务前半程完成后没法顺利衔接上倾倒动作……一次微小的环境或动作偏差,就可能影响整套任务的执行。 更棘手的是, 所有问题都得在48小时内解决 。驰序知行团队介绍,为了让现场采集的数百条数据更快投入训练,团队优化训练流程, 将单步耗时由约15秒压缩到4秒左右 。 时间紧、数据有限、现场充满不确定性,这场比赛呈现出的开发压力,与真实产业部署面临的约束颇为相似。如何利用有限资源,尽快找到最有效的改进方向,成为所有战队共同面对的考验。 二、同一颗机器人大脑,被开发出不同的解法 在这场高压测试中,前三名的队伍围绕数据回流、视觉提示和任务针对性优化,给出了一些颇具代表性的解法。 EVA队在比赛第一天测试时发现, 仅 用官方 公共 数据训练的 初始 模型 ,在决赛任务的 成功率只有约10% 。团队判断,影响模型表现的关键因素之一,是训练数据与实际评测场景之间的差异。因此,他们没有单纯依靠调整模型参数,而是搭建了一套能够持续改进数据质量的RSI机制。 这套机制的核心是让失败案例重新进入训练流程, 机器人先自主执行任务,再利用AI完成数据标注、清洗、轨迹评分,针对失败场景由人工补充示范数据。 48小时内,EVA队完成约7轮数据回流,新增700多条数据,同时利用目标定位、分割标注和深度信息蒸馏增强模型能力。 SST队则选择让机器人先看清楚要操作什么。 他们借鉴System 1与System 2的分工思路,利用外部模型解析任务指令,再通过SAM 3定位目标物体、生成视觉掩码,弱化背景干扰,让LingBot-VLA 2.0把注意力集中在真正需要抓取或放置的物体上。 很巧妙的是,SST队还通过逆向读取视频,生成目标物体的分割数据, 用于 优化模型 的 训练与动作执行。 推理时,模型一次生成50个动作,但仅执行其中16个,以提升机器人操作的

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读