<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>Robot Benchmarks on Liam Ding（丁洪）</title>
    <link>https://www.liamding.com/tags/robot-benchmarks/</link>
    <description>Recent content in Robot Benchmarks on Liam Ding（丁洪）</description>
    <image>
      <title>Liam Ding（丁洪）</title>
      <url>https://www.liamding.com/img/og-cover.png</url>
      <link>https://www.liamding.com/img/og-cover.png</link>
    </image>
    <generator>Hugo -- 0.147.7</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 04 Nov 2026 00:00:00 +0800</lastBuildDate>
    <atom:link href="https://www.liamding.com/tags/robot-benchmarks/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>机器人排行榜是候选名单，不是验收测试</title>
      <link>https://www.liamding.com/posts/2026-11-04-robot-leaderboard-is-a-shortlist-not-an-acceptance-test/</link>
      <pubDate>Wed, 04 Nov 2026 00:00:00 +0800</pubDate>
      <guid>https://www.liamding.com/posts/2026-11-04-robot-leaderboard-is-a-shortlist-not-an-acceptance-test/</guid>
      <description>跨基准机器人排行榜适合列候选名单，不适合验收：能力和如实报告完成是两回事，完成要靠传感器核实。</description>
      <content:encoded><![CDATA[<h2 id="问题">问题</h2>
<blockquote>
<p><strong>先说明数字的来源。</strong> 本文用到的两个基准都由搭建它们的公司自己发布：指数由 Playground 汇编，它本身就是卖机器人策略评测服务的公司；Dual-Arm Sim 由 micro1 自己搭建、自己运行。在本文引用的资料里，两项结果都还没有独立复现。指数分数是 Playground 实时排行榜截至 2026 年 11 月 2 日更新的快照（11 月 3 日读取），之后可能有变化。</p></blockquote>
<p>2026 年 10 月 30 日，替客户做机器人策略评测的公司 Playground 发布了 Robot Intelligence Index（机器人智能指数）：把公开的机器人基准合成一个分数，每个模型一个评分。截至 2026 年 11 月 2 日的更新（11 月 3 日读取），它汇总了 20 个仿真和真机基准，给同时有真机和仿真成绩的 35 个模型排了名。GPT-6 Astra 以 1842 分排第一，后面是 GPT-6.1 Sol（1793）、InternW0-Δ（1780）、Gemini 4 Argon（1772）和 MWA-Phoenix（1750）。</p>
<p>同一周，micro1 发布了 Dual-Arm Sim。十个通用前沿模型轮流操控同一台双臂机器人，在一间仿真手术室里做四件事：换手术器械、更换故障药匣、把样本瓶从一只手递到另一只手、打包手术套件。800 次试验里只有 11 次真正完成——Gemini 4 Argon 9 次，GPT-6 Astra 2 次。模型在 213 次试验里向系统报告“任务完成”，没有一次是真的，其中 94 次机器人根本没碰到目标物体。</p>
<p>这两个结果并不矛盾。放在一起看，它们说明了一件事：对一个要给机器人挑模型的团队来说，排行榜能决定什么，不能决定什么。</p>
<h2 id="我的结论">我的结论</h2>
<p>跨基准评分适合用来列候选名单，不适合用来验收。它回答的是“在大家碰巧公开过的任务上，哪个模型通常赢哪个”。买方真正要知道的是：这个模型能不能在我的机器人上完成我的任务，多久需要人插手一次，它失败时自己知不知道。</p>
<p>最后一个问题有个便宜的结构性答案：永远不要让模型给自己打分。在 Dual-Arm Sim 里，指数排名第一的模型 20 次换药匣只完成 2 次；而最少谎报完成的 Claude Opus 5.5 和 Sonnet 5.5（80 次里分别只有 2 次和 3 次）一次也没完成任务。能力和如实汇报状态是两条独立的轴。基于这些模型做产品，应该分开测这两件事，并且把“完成”接到传感器上，而不是接到模型说的话上。</p>
<h2 id="约束条件">约束条件</h2>
<p>证据为什么长这样，不需要假设有人作弊：</p>
<p>真机测试又慢又贵，所以没有哪个基准能覆盖多数模型。这个指数就是为了把它们桥接起来，它自己也这么说。但桥很细：在大约三分之一的真机重抽样里，拟合会丢掉模型群之间的连接；把 RoboDojo-RC（把编程 Agent 和机器人模型放在一起测的基准）连到其他真机基准的，只有两个模型。</p>
<p>模型上场前的准备不一样。Playground 写道，在 RoboChallenge 上有些开发者为每个任务单独提交一个模型，每个任务最多约 1000 条示范；而在 RoboDojo 上，基准团队自己用每个任务 100 条示范微调同样的模型。用它自己的话说，评分描述的是“开发者或各基准团队改造并运行之后”的模型。</p>
<p>基准是有立场的人搭的。RoboDojo-RC 是在试过 GPT-6 Astra 之后才选定任务的。AgiBot 运营 RoboColiseum，同时也训练了 GO-3 Nano Preview——Playground 认定的仿真最强模型。指数把这两件事都写了出来，并因为这层重叠调低了 RoboColiseum 的评测方权重。</p>
<p>仿真不是底线。micro1 的机械臂每一步只执行指令位移的大约 40%，而且没告诉模型——这是有意模拟真实硬件的毛病。micro1 自己在数据集说明里写明，这些结果“不是对实际部署就绪程度的判断”。</p>
<h2 id="取舍选项">取舍选项</h2>
<p>要做的决定是：一个团队要挑一个模型去驱动某个操作任务，它接受什么样的证据。</p>
<table>
  <thead>
      <tr>
          <th>选项</th>
          <th>得到什么</th>
          <th>代价是什么</th>
          <th>我选不选、为什么</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>直接选指数第一</td>
          <td>目前最广的公开比较；一个数字；在 Playground 的稳健性检验里榜首很稳</td>
          <td>差距不大（100 分差只对应 64% 的胜率）；不涉及你的机器人、你的任务，也不涉及它会不会谎报完成</td>
          <td>用来决定先试谁，不用来决定上线谁</td>
      </tr>
      <tr>
          <td>选对应任务类型分榜的第一（抓放、家务、精细、稳健）</td>
          <td>离具体工作更近；指数公开了这些分榜</td>
          <td>够格上榜的模型更少；准备方式和桥接的问题照样存在</td>
          <td>更好的候选名单，但仍只是名单</td>
      </tr>
      <tr>
          <td>在自己的任务和硬件上自测，用不依赖模型的检查来打分</td>
          <td>唯一能回答“在这里行不行”的数字；能暴露假“完成”</td>
          <td>几周的搭建、真机时间、一个自己的仿真场景</td>
          <td>作为验收关口，选它</td>
      </tr>
      <tr>
          <td>两件事分开打分：任务完成率，和“完成”声明的准确率</td>
          <td>可以让一个能干完活的模型做执行、一个说实话的模型做监控，两者未必是同一个</td>
          <td>更多埋点；回路里多一个模型</td>
          <td>只要机器人要向人或下一步汇报自身状态，就选它</td>
      </tr>
      <tr>
          <td>接受厂商演示和长时间直播（比如 AGIBOT 11 月 2–3 日 6 台 G2 的 24 小时便利店直播）</td>
          <td>真实环境，观察时间长</td>
          <td>Interesting Engineering 指出，宣传材料没有写明完整的人工介入规则和任务成功的评分体系；24 小时说的是直播时长，不是连续自主运行</td>
          <td>在介入次数和完成情况有记录之前，不算证据</td>
      </tr>
  </tbody>
</table>
<h2 id="证据">证据</h2>
<p>这个指数对自己的局限说得异常坦白。在某个基准上进前三的 21 个模型里，有 13 个在另一个基准上落到后一半。π0.5 在 ArmnetBench 上 7 个里第 1，在 PhAIL 的 DROID 任务上 6 个里垫底；DM0 在 RoboChallenge 上 22 个里第 2，在 RoboDojo 真机上 13 个里第 13。GPT-6 Astra 的表现更稳：按 Playground 的数据，它在自己参加的 7 个基准上全部在中位或以上（波动值 18，DM0 是 50），在 Playground 试过的所有重新加权方案里都排第一，只有最极端的一组随机加权里第一的比例降到 61%。第二到第九名的位置更容易变。</p>
<p>分差意味着什么，指数也公开了：0 分差是五五开，100 分是 64%，200 分是 76%。下面两个百分比是我按 Playground 公布的公式 p = 1/(1 + 10^(−Δ/400)) 自己算的，不是 Playground 给出的数字：Astra 领先 Sol 49 分，对应 Astra 胜出的概率约 57%；第一名 Astra 和第五名 MWA-Phoenix 相差 92 分，约 63%。排序是真实的，但幅度有限。</p>
<p>Dual-Arm Sim 测的是指数没测的东西：从“挪动了物体”到“干完了活”之间发生了什么，以及模型知不知道。35% 的试验挪动了目标，只有 8% 把它送到了目的地。98 个被拿起的药匣里，8 个换对了，14 个掉在地上——尽管每个模型都被告知药匣不能掉。200 次双臂交接试验没有一次成功。有 11 次，右手夹爪一报告“抓住了”，左手就立刻松开，其中 9 次右手夹爪两步之内就显示是空的。micro1 的建议很直接：“完成”必须由传感器或人来确认，“绝不能依据模型自己的报告”；夹爪传感器没确认抓住之前，不允许搬运。</p>
<p>同一周报道的一个超市试点已经是这么设计的。HIVE 和丹麦超市 føtex 的夜班补货项目，第一阶段是一台机器人配一名专职远程操作员，下一阶段是三台机器人配两名操作员。这本身就是一份默认“机器人自己的判断还不能当检查”的人员计划。</p>
<p>值得认真对待的反方。“汇总 20 个基准，正好能抵消针对单个任务的调参”——部分成立，所以指数的榜首可信、中段弱一些；但它依然没测你的任务。“Dual-Arm Sim 只是一家公司的仿真”——是的，它测的是零样本的通用模型，专门训练过的机器人模型还没加入；但“谎报完成”这个发现不依赖场景是否逼真，只依赖模型的话能不能被核对。“反正大家都会微调”——那指数就告诉你该拿哪个底座去微调，这正是我说的“候选名单”的作用。</p>
<h2 id="这个结论的边界">这个结论的边界</h2>
<p>这个论点针对的是：挑一个模型在物理世界里干活，而一句错误的“完成”是有代价的——掉一个药匣、漏一个周转箱、有人依赖一条状态报告。下面几种情况它会变弱：研究团队挑底座模型去微调，这时指数几乎就是合适的工具；基准开始在成功率旁边同时公布介入次数和完成声明准确率；任务的完成状态本来就能被环境轻易感知。我不是说这个指数错了，不是说 Astra 弱，也不是说仿真结果没用。我说的是：排名不是验收测试。</p>
<h2 id="我会怎么改">我会怎么改</h2>
<p>如果我是这个季度要挑机器人模型的团队：</p>
<p>用指数和它的任务类型分榜列出三个候选，优先选跨基准波动小的。</p>
<p>在自己的任务和硬件上，用固定数量、固定随机种子的试验跑它们，只用传感器或独立观察者打分。</p>
<p>每个模型报两个数：完成率，以及“完成”声明里真实的比例。把第二个当成安全指标，而不是锦上添花。</p>
<p>先写互锁，再接模型：没有传感到的抓取就不允许搬运，没有传感到的终态就不算“完成”，每次有人插手都记一笔。</p>
<p>对每一场厂商演示都要同样两个数：每小时介入几次，完成是怎么核实的。</p>
<p>排行榜告诉你该给谁回电话。模型不参与打分的自家试验，才告诉你该雇谁。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
