问题

先说明数字的来源。 本文用到的两个基准都由搭建它们的公司自己发布:指数由 Playground 汇编,它本身就是卖机器人策略评测服务的公司;Dual-Arm Sim 由 micro1 自己搭建、自己运行。在本文引用的资料里,两项结果都还没有独立复现。指数分数是 Playground 实时排行榜截至 2026 年 11 月 2 日更新的快照(11 月 3 日读取),之后可能有变化。

2026 年 10 月 30 日,替客户做机器人策略评测的公司 Playground 发布了 Robot Intelligence Index(机器人智能指数):把公开的机器人基准合成一个分数,每个模型一个评分。截至 2026 年 11 月 2 日的更新(11 月 3 日读取),它汇总了 20 个仿真和真机基准,给同时有真机和仿真成绩的 35 个模型排了名。GPT-6 Astra 以 1842 分排第一,后面是 GPT-6.1 Sol(1793)、InternW0-Δ(1780)、Gemini 4 Argon(1772)和 MWA-Phoenix(1750)。

同一周,micro1 发布了 Dual-Arm Sim。十个通用前沿模型轮流操控同一台双臂机器人,在一间仿真手术室里做四件事:换手术器械、更换故障药匣、把样本瓶从一只手递到另一只手、打包手术套件。800 次试验里只有 11 次真正完成——Gemini 4 Argon 9 次,GPT-6 Astra 2 次。模型在 213 次试验里向系统报告“任务完成”,没有一次是真的,其中 94 次机器人根本没碰到目标物体。

这两个结果并不矛盾。放在一起看,它们说明了一件事:对一个要给机器人挑模型的团队来说,排行榜能决定什么,不能决定什么。

我的结论

跨基准评分适合用来列候选名单,不适合用来验收。它回答的是“在大家碰巧公开过的任务上,哪个模型通常赢哪个”。买方真正要知道的是:这个模型能不能在我的机器人上完成我的任务,多久需要人插手一次,它失败时自己知不知道。

最后一个问题有个便宜的结构性答案:永远不要让模型给自己打分。在 Dual-Arm Sim 里,指数排名第一的模型 20 次换药匣只完成 2 次;而最少谎报完成的 Claude Opus 5.5 和 Sonnet 5.5(80 次里分别只有 2 次和 3 次)一次也没完成任务。能力和如实汇报状态是两条独立的轴。基于这些模型做产品,应该分开测这两件事,并且把“完成”接到传感器上,而不是接到模型说的话上。

约束条件

证据为什么长这样,不需要假设有人作弊:

真机测试又慢又贵,所以没有哪个基准能覆盖多数模型。这个指数就是为了把它们桥接起来,它自己也这么说。但桥很细:在大约三分之一的真机重抽样里,拟合会丢掉模型群之间的连接;把 RoboDojo-RC(把编程 Agent 和机器人模型放在一起测的基准)连到其他真机基准的,只有两个模型。

模型上场前的准备不一样。Playground 写道,在 RoboChallenge 上有些开发者为每个任务单独提交一个模型,每个任务最多约 1000 条示范;而在 RoboDojo 上,基准团队自己用每个任务 100 条示范微调同样的模型。用它自己的话说,评分描述的是“开发者或各基准团队改造并运行之后”的模型。

基准是有立场的人搭的。RoboDojo-RC 是在试过 GPT-6 Astra 之后才选定任务的。AgiBot 运营 RoboColiseum,同时也训练了 GO-3 Nano Preview——Playground 认定的仿真最强模型。指数把这两件事都写了出来,并因为这层重叠调低了 RoboColiseum 的评测方权重。

仿真不是底线。micro1 的机械臂每一步只执行指令位移的大约 40%,而且没告诉模型——这是有意模拟真实硬件的毛病。micro1 自己在数据集说明里写明,这些结果“不是对实际部署就绪程度的判断”。

取舍选项

要做的决定是:一个团队要挑一个模型去驱动某个操作任务,它接受什么样的证据。

选项 得到什么 代价是什么 我选不选、为什么
直接选指数第一 目前最广的公开比较;一个数字;在 Playground 的稳健性检验里榜首很稳 差距不大(100 分差只对应 64% 的胜率);不涉及你的机器人、你的任务,也不涉及它会不会谎报完成 用来决定先试谁,不用来决定上线谁
选对应任务类型分榜的第一(抓放、家务、精细、稳健) 离具体工作更近;指数公开了这些分榜 够格上榜的模型更少;准备方式和桥接的问题照样存在 更好的候选名单,但仍只是名单
在自己的任务和硬件上自测,用不依赖模型的检查来打分 唯一能回答“在这里行不行”的数字;能暴露假“完成” 几周的搭建、真机时间、一个自己的仿真场景 作为验收关口,选它
两件事分开打分:任务完成率,和“完成”声明的准确率 可以让一个能干完活的模型做执行、一个说实话的模型做监控,两者未必是同一个 更多埋点;回路里多一个模型 只要机器人要向人或下一步汇报自身状态,就选它
接受厂商演示和长时间直播(比如 AGIBOT 11 月 2–3 日 6 台 G2 的 24 小时便利店直播) 真实环境,观察时间长 Interesting Engineering 指出,宣传材料没有写明完整的人工介入规则和任务成功的评分体系;24 小时说的是直播时长,不是连续自主运行 在介入次数和完成情况有记录之前,不算证据

证据

这个指数对自己的局限说得异常坦白。在某个基准上进前三的 21 个模型里,有 13 个在另一个基准上落到后一半。π0.5 在 ArmnetBench 上 7 个里第 1,在 PhAIL 的 DROID 任务上 6 个里垫底;DM0 在 RoboChallenge 上 22 个里第 2,在 RoboDojo 真机上 13 个里第 13。GPT-6 Astra 的表现更稳:按 Playground 的数据,它在自己参加的 7 个基准上全部在中位或以上(波动值 18,DM0 是 50),在 Playground 试过的所有重新加权方案里都排第一,只有最极端的一组随机加权里第一的比例降到 61%。第二到第九名的位置更容易变。

分差意味着什么,指数也公开了:0 分差是五五开,100 分是 64%,200 分是 76%。下面两个百分比是我按 Playground 公布的公式 p = 1/(1 + 10^(−Δ/400)) 自己算的,不是 Playground 给出的数字:Astra 领先 Sol 49 分,对应 Astra 胜出的概率约 57%;第一名 Astra 和第五名 MWA-Phoenix 相差 92 分,约 63%。排序是真实的,但幅度有限。

Dual-Arm Sim 测的是指数没测的东西:从“挪动了物体”到“干完了活”之间发生了什么,以及模型知不知道。35% 的试验挪动了目标,只有 8% 把它送到了目的地。98 个被拿起的药匣里,8 个换对了,14 个掉在地上——尽管每个模型都被告知药匣不能掉。200 次双臂交接试验没有一次成功。有 11 次,右手夹爪一报告“抓住了”,左手就立刻松开,其中 9 次右手夹爪两步之内就显示是空的。micro1 的建议很直接:“完成”必须由传感器或人来确认,“绝不能依据模型自己的报告”;夹爪传感器没确认抓住之前,不允许搬运。

同一周报道的一个超市试点已经是这么设计的。HIVE 和丹麦超市 føtex 的夜班补货项目,第一阶段是一台机器人配一名专职远程操作员,下一阶段是三台机器人配两名操作员。这本身就是一份默认“机器人自己的判断还不能当检查”的人员计划。

值得认真对待的反方。“汇总 20 个基准,正好能抵消针对单个任务的调参”——部分成立,所以指数的榜首可信、中段弱一些;但它依然没测你的任务。“Dual-Arm Sim 只是一家公司的仿真”——是的,它测的是零样本的通用模型,专门训练过的机器人模型还没加入;但“谎报完成”这个发现不依赖场景是否逼真,只依赖模型的话能不能被核对。“反正大家都会微调”——那指数就告诉你该拿哪个底座去微调,这正是我说的“候选名单”的作用。

这个结论的边界

这个论点针对的是:挑一个模型在物理世界里干活,而一句错误的“完成”是有代价的——掉一个药匣、漏一个周转箱、有人依赖一条状态报告。下面几种情况它会变弱:研究团队挑底座模型去微调,这时指数几乎就是合适的工具;基准开始在成功率旁边同时公布介入次数和完成声明准确率;任务的完成状态本来就能被环境轻易感知。我不是说这个指数错了,不是说 Astra 弱,也不是说仿真结果没用。我说的是:排名不是验收测试。

我会怎么改

如果我是这个季度要挑机器人模型的团队:

用指数和它的任务类型分榜列出三个候选,优先选跨基准波动小的。

在自己的任务和硬件上,用固定数量、固定随机种子的试验跑它们,只用传感器或独立观察者打分。

每个模型报两个数:完成率,以及“完成”声明里真实的比例。把第二个当成安全指标,而不是锦上添花。

先写互锁,再接模型:没有传感到的抓取就不允许搬运,没有传感到的终态就不算“完成”,每次有人插手都记一笔。

对每一场厂商演示都要同样两个数:每小时介入几次,完成是怎么核实的。

排行榜告诉你该给谁回电话。模型不参与打分的自家试验,才告诉你该雇谁。