<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>Robot Foundation Models on Liam Ding（丁洪）</title>
    <link>https://www.liamding.com/tags/robot-foundation-models/</link>
    <description>Recent content in Robot Foundation Models on Liam Ding（丁洪）</description>
    <image>
      <title>Liam Ding（丁洪）</title>
      <url>https://www.liamding.com/img/og-cover.png</url>
      <link>https://www.liamding.com/img/og-cover.png</link>
    </image>
    <generator>Hugo -- 0.147.7</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 18 Nov 2026 00:00:00 +0800</lastBuildDate>
    <atom:link href="https://www.liamding.com/tags/robot-foundation-models/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>OpenAI 拆机器人团队，拆在了自己说的地基上</title>
      <link>https://www.liamding.com/posts/2026-11-18-openai-robotics-reorg-cuts-the-co-design-seam/</link>
      <pubDate>Wed, 18 Nov 2026 00:00:00 +0800</pubDate>
      <guid>https://www.liamding.com/posts/2026-11-18-openai-robotics-reorg-cuts-the-co-design-seam/</guid>
      <description>OpenAI 没有放弃机器人，而是把机器人研究和硬件拆进两个部门，拆开的正是 Altman 5 月称为地基的协同设计。</description>
      <content:encoded><![CDATA[<h2 id="问题">问题</h2>
<p>11 月 13 日，Fortune 报道 OpenAI 解散了独立的机器人团队，OpenAI 向 Fortune 确认了这次重组。机器人研究员并入首席研究官 Mark Chen 领导的主研究团队；做应用机器人和硬件的团队并入总裁 Greg Brockman 领导的 Applied 部门。据 Fortune 转述，发言人表示机器人仍是 OpenAI 长期愿景的核心部分，并给了理由：年初时，研究员以为做机器人最好的路线是沿着 Sora 这类世界模型往下走；但之后包括 GPT-6 Astra 在内的通用前沿模型已经证明，可以直接用到机器人上。</p>
<p>这次调整很新。当周在奥斯汀举办的机器人学术会议 CoRL 上，OpenAI 已经订好的 208 号展位，Fortune 去看时空无一物。</p>
<p>一条广为转发的帖子把它读成了讣告。帖子写道 &ldquo;OpenAI has officially disbanded its robotics team, just five months after relaunching it&rdquo;，接着是 &ldquo;it’s over&rdquo;，浏览量过了一百万。OpenAI 员工当天下午就出来反驳。工程师 David Schnurr 写道 &ldquo;robotics at openai is alive and well.&quot;，并说有 15 个职位在招。简介为 &ldquo;sora, robot researcher @ openai, cs @ stanford&rdquo; 的 Welton Wang 回复：&ldquo;this is completely wrong (read the article), we are investing more than ever in robotics.&rdquo;</p>
<p>两边吵的都是 OpenAI 是不是不做机器人了。Fortune 的报道没这么说，员工也说不是。更值得问的是：这张组织架构图押的是什么，又放弃了什么。</p>
<h2 id="我的结论">我的结论</h2>
<p>按 Fortune 的说法，我的理解是：OpenAI 拆机器人项目，正好拆在它自己说过的地基上。</p>
<p>5 月 31 日，Sam Altman 写道：&ldquo;Our world simulation research program, led by Aditya Ramesh (@model_mechanic), has evolved over the past year into OpenAI Robotics. Progress is rapid, and based on a foundation of co-design between robotics hardware and ML research.&rdquo; 也就是世界模拟研究项目在过去一年演变成了 OpenAI Robotics，进展建立在机器人硬件和机器学习研究的协同设计之上。五个半月后，按 Fortune 的说法，机器学习研究向一位高管汇报，硬件向另一位高管汇报。</p>
<p>这是一个说得通的押注，不是撤退。如果通用模型真的能驱动机器人，机器人就成了这个模型的下游应用，和写代码、做法律工作一样。卡内基梅隆大学的 Guanya Shi 告诉 Fortune，他把这次调整理解为 OpenAI 认为机器人 &ldquo;no longer a special problem&rdquo;（不再是一个特殊问题）。在这个前提下，单独做机器人大脑的团队大多是在重复造通用模型，还要跟它抢算力。</p>
<p>代价是：协同设计原来是一个团队的事，现在成了两条汇报线之间的接口。机器人需要、而通用模型不在乎的东西，比如速度、断网运行、接触密集的精细控制、真实车间里的稳定在线，在研究这一侧不再有专门的负责人。我的判断：如果 OpenAI 把机器人任务变成评判通用模型的标准之一，这次重组是对的；如果机器人沦为一个客户，只能给忙着做别的事的研究部门提需求，那就是错的。</p>
<h2 id="约束条件">约束条件</h2>
<p>有四件事让这件事没那么简单，不是&quot;模型变强了，把团队并进去就行&rdquo;。</p>
<p><strong>速度和联网。</strong> Shi 还对 Fortune 说，大语言模型能力强但慢，跑在云上，要求机器人一直联网。他认为仍需要能跑在机器人本体计算机上的小型专用模型。一个模型会做这件事，但每次都要连回云端再等结果，还算不上控制器。</p>
<p><strong>现场数据在已经部署了机器人的人手里。</strong> MIT 教授、Walden Robotics 联合创始人兼 CEO Russ Tedrake 对 Fortune 说，机器人公司有一个实验室没有的优势：它们的机器人已经在真实场所积累工作经验；基础模型越好，这些特定现场的数据越值钱，因为机器人能更快地从中学会。OpenAI 自己的机器人还没公开亮相；据 Fortune 报道，Altman 的目标是 2027 年首次公开演示自家人形机器人。</p>
<p><strong>物理工程依然难。</strong> 这一点最好的证据是 OpenAI 自己 11 月 3 日的文章。文里的 Astra 做的是一台用来跟 Codex 对话的设备，不是机器人。两名成员把它当作副业，用 Astra 在一周内设计出来，代工厂不到一个月做出了一小批样机。OpenAI 写道：&ldquo;Getting the device ready for manufacturing still required several rounds of review and iteration. Astra did not consistently account for the manufacturer&rsquo;s production limits, tolerances, or details required for assembly. These gaps are helping us identify what future models need to do better.&rdquo; 也就是可量产仍要好几轮评审和迭代，因为 Astra 没有始终考虑到厂商的生产限制、公差和装配细节；这些缺口在帮他们看清未来的模型还要在哪些地方做得更好。我的判断：据 Fortune，硬件团队现在归 Applied；这篇文章没说这台设备是哪个部门做的；机器人硬件也有类似的制造细节，所以我把它看成协同设计问题。</p>
<p><strong>钱和聚焦。</strong> Fortune 指出，这次重组发生在 OpenAI 面临降本、聚焦少数核心产品压力的时候：Altman 早先要求放弃 side quests（支线任务），Sora 已被砍掉，上一季度运营亏损据报道达 109 亿美元，并可能在 2027 年初 IPO。这些是媒体报道的数字，不是 OpenAI 的披露。Fortune 把这些当作背景，不是 OpenAI 自己陈述的理由（OpenAI 公开的理由是能力）。我的理解是，成本压力会让单独做一套机器人模型更难辩护。</p>
<h2 id="取舍选项">取舍选项</h2>
<p>要做的决定：在一个以通用模型为主要产品的实验室里，机器人业务该怎么组织。</p>
<table>
  <thead>
      <tr>
          <th>选项</th>
          <th>得到什么</th>
          <th>代价</th>
          <th>我选不选、为什么</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>保留独立机器人团队和自有模型（5 月的架构）</td>
          <td>从电机到模型一个负责人；协同设计在一个团队内完成；机器人的需求决定研究议程</td>
          <td>重复造通用模型；抢算力；在丢掉支线任务的预算下很难守住</td>
          <td>如果通用模型已经能迁移过去，我不选。OpenAI 说它能</td>
      </tr>
      <tr>
          <td>研究并入通用模型，硬件并入 Applied（OpenAI 的做法）</td>
          <td>通用模型的每一次进步都直接带到机器人上；不用维护第二个模型</td>
          <td>协同设计变成两个部门之间的交接；机器人的特殊需求要和研究部门所有其他优先级竞争</td>
          <td>我选它，但有条件（见下文）</td>
      </tr>
      <tr>
          <td>退出硬件，把模型授权给机器人公司</td>
          <td>不用建厂、不烧硬件的钱；现场数据由机器人公司提供</td>
          <td>OpenAI 试过类似做法。2025 年 2 月，Adcock 宣布 Figure 退出合作协议，理由是一项突破：&ldquo;fully end-to-end robot AI, built entirely in-house&rdquo;</td>
          <td>不选。这是我的推测，Adcock 的帖子和 Fortune 都没这么说：有自己打算的合作方离开时，现场数据可能跟着走</td>
      </tr>
  </tbody>
</table>
<p>选中间那一行，我放弃的是：一个对机器人端到端能否工作负总责的人。下面的条件就是为了把这一点补回来。</p>
<h2 id="证据">证据</h2>
<p>可靠的部分：OpenAI 向 Fortune 确认了重组，包括两个去向和两位负责的高管。Altman 5 月的帖子是一手来源，明确把协同设计称为基础。OpenAI 11 月 3 日的文章也是一手来源，写明其硬件和基础设施团队在机器人和算力基础设施上用 Codex 和 ChatGPT 做 CAD、出图、仿真和设计评审，硬件团队的 token 用量自 2 月以来增长了 23 倍。</p>
<p>有争议或证据薄的部分：规模。Fortune 没给人数，也没有人说清多少人调去了哪里。Schnurr 说有 15 个在招职位。11 月 17 日，OpenAI 公开职位列表（https://jobs.ashbyhq.com/openai）里，team 和 department 都标为 Robotics 的正好 15 个，没有机器学习研究岗。其中 11 个是机械、电气、固件、制造或测试；另外 4 个是控制系统软件、数据采集与评测软件、执行器技术项目经理，以及一名机器人安全工程师。控制系统软件那条写明要和机器学习工程师一起实现强化学习模型，岗位本身仍是实时控制，不是研究岗。Wang 的帖子针对的是 &ldquo;it’s over&rdquo; 的说法，不是 Fortune 报道的事实，他还让大家去读原文。</p>
<p>我刻意没用的：通用模型在仿真环境里控制机器人的成功率。仿真分数对上面那些约束说明不了多少，我不想靠它们立论。</p>
<p>值得认真对待的反驳。&ldquo;团队和汇报线不重要，同一批人还在做同样的事。&ldquo;有时确实如此，CoRL 的场景也支持这点：Fortune 看到前团队成员站在空展位旁，照样有人围观。但算力紧张时，汇报线决定谁的路线图优先，而这正是 Fortune 描述的处境。&ldquo;机器人只是模型的又一个应用。&ldquo;有可能，但做通用机器人模型的创业公司 Generalist 的联合创始人 Pete Florence 对 Fortune 说：&ldquo;There may be different starting points for how to grow intelligence.&rdquo; 而且现在还看不出哪个已有模型会主导机器人领域。</p>
<h2 id="这个结论的边界">这个结论的边界</h2>
<p>这个论证假设 Fortune 描述的组织架构就是实际干活的方式。如果研究部门和 Applied 实际上合办一个机器人小组，我担心的那道接缝可能并不存在。如果通用模型变得足够快、足够小，能跑在机器人本体上，速度这条约束就消失了，论证也会减弱。它也不适用于已有部署车队的机器人公司：对它们来说，Tedrake 的观点正好相反，通用模型越强，它们的现场数据越值钱。我没有说 OpenAI 要退出机器人，也没有说这次重组会失败。</p>
<h2 id="我会怎么改">我会怎么改</h2>
<p>如果我在 OpenAI 的新架构里负责机器人：</p>
<p>跨两个部门指定一个人，对机器人的闭环要求负责：响应时间、断网时的行为、抓取失败后的恢复。</p>
<p>把一组固定的真机任务放进通用模型的发布评测，让机器人能力的退化可以像代码能力退化一样卡住模型发布。</p>
<p>围绕 2027 年演示本身，保留一个硬件加研究的小分队，现在就写好带日期的验收标准。</p>
<p>如果我是旁观这件事的机器人公司，我会继续积累部署数据；在模型厂商公布带延迟和断网表现的真机结果之前，不会把云端通用模型当成自己的控制器来规划。</p>
<p>我在看的：OpenAI 下一次发布模型时是否报告任何机器人评测，那 15 个机器人职位是否一直在招，以及 2027 年的演示日期是否守得住。</p>
]]></content:encoded>
    </item>
    <item>
      <title>机器人的大脑可以租，产线数据要自己留</title>
      <link>https://www.liamding.com/posts/2026-11-11-rent-the-robot-brain-own-the-line-data/</link>
      <pubDate>Wed, 11 Nov 2026 00:00:00 +0800</pubDate>
      <guid>https://www.liamding.com/posts/2026-11-11-rent-the-robot-brain-own-the-line-data/</guid>
      <description>Gemini Robotics 2.5、小米开源模型和 Embodied AI 的现场学习方案，都要在产线上学会具体的活。基础模型可以租，产线数据才是资产。</description>
      <content:encoded><![CDATA[<h2 id="问题">问题</h2>
<p>一周之内，给工厂机器人装“大脑”的三种做法同时摆上了台面。</p>
<p>11 月 10 日，Google DeepMind 发布 Gemini Robotics 2.5，一个在 200 多个任务上测过的视觉-语言-动作（VLA）模型。最受关注的结果来自梅赛德斯-奔驰在凯奇凯梅特（匈牙利）和辛德尔芬根（德国）正在运转的产线：Apptronik 的 Apollo 2 人形机器人用它做汽车配料，从散料箱里取出金属支架、按顺序放进排序容器，成功率 96%。这个模型正在向 DeepMind 的机器人合作伙伴推送。Humanoids Daily 指出，官方没有宣布 API 开放或价格。</p>
<p>小米走开源路线：Xiaomi-Robotics-1 采用 Apache 2.0，用超过 10 万小时真实操作轨迹预训练，5B 检查点在 Hugging Face，后训练代码在 GitHub。另外，11 月 3 日小米展示了自家人形机器人在汽车工厂分拣工位上做 8 小时任务；Electrek 并未说明那次演示跑的是 Xiaomi-Robotics-1。</p>
<p>Embodied AI 是一家 25 人的 EPFL 衍生公司，走的是第三条路。11 月 6 日它发布了 AIR：轮式底座上装两条手臂，跑的是一组针对具体任务的小模型，而不是一个通用机器人大模型。头一个班次由远程操作员遥控，每个班次都录下来，公司说大约一个月后机器人就能自己接手这项工作。</p>
<p>对一家要决定怎么“买机器人智能”的工厂或机器人厂商来说，这看起来是三种互相竞争的押注。我的看法是：它们是同一个问题的三种答法，而三者的共同点比分歧更重要。</p>
<h2 id="我的结论">我的结论</h2>
<p>三家都是在产线上学会产线上的活。Apptronik CEO 说，Gemini 模型“只用几周后训练就大幅提升”，然后才转到奔驰的生产中。小米说它的模型学一个新的复杂任务“每个任务只需几小时示范”。Embodied AI 的整个卖点就是一个月的遥控班次，这些班次本身就是训练数据。</p>
<p>所以，基础模型是可以租的那部分。真正在某条产线上越积越多的是其余的东西：示范数据、失败片段、人工介入记录，以及这个工位的验收测试。我的建议是：按能力和可获得性挑基础模型，但谈合同时要把产线数据当成你真正在买的东西——谁保留、什么格式、明年能不能拿它去训另一家的模型。</p>
<h2 id="约束条件">约束条件</h2>
<p>只靠公开信息为什么难下判断：</p>
<p>几个标题里的成功率都没有分母。DeepMind 的 96% 没说覆盖多少次抓取、试点跑了多久、节拍和人工比怎样，Humanoids Daily 专门指出了这一点。Embodied AI 的 95% 是多个付费试点的平均值，任务、成功的定义和时长都没公开。Electrek 指出，小米没公布 8 小时里分拣了多少件、成功率多少、人工介入几次；不过小米公布过更早工位的数字（3 月 90.2%，7 月 98%）。</p>
<p>基础模型更新很快。Gemini Robotics 2 在 7 月发布，2.5 在 11 月。依赖供应商模型的产线，也就接过了它的发版节奏，好坏都有。</p>
<p>获取门槛不一样。DeepMind 说正在向机器人合作伙伴推送；Humanoids Daily 指出，目前仍未宣布对公众开放 API 或公布价格。开源模型随便下载，但集成和安全论证都归你。现场学习的方案则和供应商及其操作员绑在一起。</p>
<p>没人公开数据条款。三方的公开材料都没说：在客户产线上采集的示范和日志归谁，客户能不能带走。Embodied AI 说“一台机器人学到的，其他机器人也能用”，这对它的机队是好事，也恰恰是买方最该细读的条款。</p>
<h2 id="取舍选项">取舍选项</h2>
<p>要做的决定：一家工厂（或卖给工厂的机器人厂商）要为一批人工工位选定机器人智能从哪里来。</p>
<table>
  <thead>
      <tr>
          <th>选项</th>
          <th>得到什么</th>
          <th>代价</th>
          <th>我选或不选的理由</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>通过合作方机器人授权前沿 VLA（Apollo 2 上的 Gemini Robotics 2.5）</td>
          <td>公开证据里技能面最广：200 多个任务；DeepMind 称成功率比此前基线高 30% 到 100%（视任务类型而定）；有公开的工厂试点</td>
          <td>向机器人合作伙伴推送（DeepMind）；未宣布公开 API 或价格（Humanoids Daily）；模型按供应商节奏更新；数据条款未公开</td>
          <td>工位多样、要求灵巧时会选，但必须把数据权利写进合同</td>
      </tr>
      <tr>
          <td>从开源权重起步（Xiaomi-Robotics-1）</td>
          <td>Apache 2.0，用自己的示范微调，跑在自己的硬件上，没有准入门槛</td>
          <td>集成、评测和安全论证都得自己做；标题基准是开发者自己报的</td>
          <td>适合已有机器人工程团队、想把数据闭环留在内部的公司</td>
      </tr>
      <tr>
          <td>买供应商在现场学习的专用方案（Embodied AI AIR）</td>
          <td>靠遥控从第一个班次就产出；大约一个月得到贴合你工位的策略</td>
          <td>学习期和之后处理例外都要操作员人力；学习闭环在供应商手里；尚无公开价格</td>
          <td>少数高变化工位、首批产出时间比拥有模型更要紧时会选</td>
      </tr>
      <tr>
          <td>等模型稳定再说</td>
          <td>不会把集成工作花在四个月后可能被替换的模型上</td>
          <td>什么都没采集；工位继续靠人，产线数据零积累</td>
          <td>不选。三条路里，录示范和介入记录都用得上</td>
      </tr>
  </tbody>
</table>
<h2 id="证据">证据</h2>
<p>前沿路线强在广度。DeepMind 报告 2.5 的成功率比此前基线高 30% 到 100%（视任务类型而定），完成速度快 20% 到 30%。Humanoids Daily 列出了相对 Gemini Robotics 2 的单项跃升，比如用夹子装糕点从 5% 到 100%、叠裤子从 0% 到 40%，但没给试验次数。在奔驰，工作被拆成两层：具身推理模型跟踪工作流，动作模型控制双手。即便如此，CEO 自己描述的上线路径也是在 Apollo 2 上做“几周后训练”。</p>
<p>开源路线从另一侧说明同一件事。小米的 README 说，在超过 1 万小时跨本体数据上后训练后，模型能开箱即用地做移动操作；新任务则要“每个任务几小时示范”。权重免费，你工位上那几个小时的示范不免费。</p>
<p>现场路线把数据闭环本身做成了产品。Embodied AI 官网说，它的小型策略由自研的视觉语言模型在机器人本机上编排，并且“在仿真里训练的模型，现实一变就失效”。它的软件已经跑在一个付费的双臂工作站里；据 GGBa，在一家消费电子厂商的线缆处理任务上，可靠性达到 98%，客户目标是 90%。机器人接手后，操作员仍随时处理它没见过的情况。</p>
<p>合起来看：三者的分歧在于谁训练基础模型，共识在于总得有人在工位上采集任务数据。握着这些数据的一方，以后可以换基础模型；没握着的一方，换的时候只能再采一遍。</p>
<p>值得认真对待的反驳。“前沿模型会强到不需要逐条产线后训练。”有可能，从 Gemini Robotics 2 到 2.5 大约四个月就是论据；但奔驰试点本身仍做了后训练，我现在不会按这个假设做计划。“数据权利只是采购细节。”直到你想换供应商，才发现自己一个月的示范躺在别人的训练集里。“开源权重只适合实验室。”小米提供了部署代码，面向消费级 GPU 优化；真正的门槛是评测和安全工作，不是能不能拿到。</p>
<h2 id="这个结论的边界">这个结论的边界</h2>
<p>这个论点针对的是人工、高变化、需要专门教机器人干活的工位。以下情况会变弱：单一重复任务，固定自动化工作站比任何学习策略都便宜；基础模型已经能零样本稳定干好某个工位，而且公开了分母，那就没多少值得拥有的产线数据；供应商合同已经保证客户拿到示范、日志和评测集的完整副本。我不是说三种做法哪种错了，也不是在给它们的模型排名——公开数据撑不起排名。</p>
<h2 id="我会怎么改">我会怎么改</h2>
<p>如果这个季度由我负责一个工厂试点：</p>
<p>不管选哪条路，现在就开始录：示范、失败片段、每次人工介入的时间和原因。</p>
<p>自己写工位的验收测试：每小时件数、整班成功率、每小时介入次数。所有候选方案都按这个测，不看宣传册。</p>
<p>合同里写三条：我产线上采集的所有数据，我拿到一份有文档的副本；我可以用它训练别家的模型；在供应商机队内共享这些数据，需要我主动同意。</p>
<p>对每个供应商的标题成功率问同样三个数：试了多少次、跑了多久、介入了几次。</p>
<p>最后才选基础模型。它是最可能变的部分，只要数据在我手里，也是最容易换的部分。</p>
]]></content:encoded>
    </item>
    <item>
      <title>机器人排行榜是候选名单，不是验收测试</title>
      <link>https://www.liamding.com/posts/2026-11-04-robot-leaderboard-is-a-shortlist-not-an-acceptance-test/</link>
      <pubDate>Wed, 04 Nov 2026 00:00:00 +0800</pubDate>
      <guid>https://www.liamding.com/posts/2026-11-04-robot-leaderboard-is-a-shortlist-not-an-acceptance-test/</guid>
      <description>跨基准机器人排行榜适合列候选名单，不适合验收：能力和如实报告完成是两回事，完成要靠传感器核实。</description>
      <content:encoded><![CDATA[<h2 id="问题">问题</h2>
<blockquote>
<p><strong>先说明数字的来源。</strong> 本文用到的两个基准都由搭建它们的公司自己发布：指数由 Playground 汇编，它本身就是卖机器人策略评测服务的公司；Dual-Arm Sim 由 micro1 自己搭建、自己运行。在本文引用的资料里，两项结果都还没有独立复现。指数分数是 Playground 实时排行榜截至 2026 年 11 月 2 日更新的快照（11 月 3 日读取），之后可能有变化。</p></blockquote>
<p>2026 年 10 月 30 日，替客户做机器人策略评测的公司 Playground 发布了 Robot Intelligence Index（机器人智能指数）：把公开的机器人基准合成一个分数，每个模型一个评分。截至 2026 年 11 月 2 日的更新（11 月 3 日读取），它汇总了 20 个仿真和真机基准，给同时有真机和仿真成绩的 35 个模型排了名。GPT-6 Astra 以 1842 分排第一，后面是 GPT-6.1 Sol（1793）、InternW0-Δ（1780）、Gemini 4 Argon（1772）和 MWA-Phoenix（1750）。</p>
<p>同一周，micro1 发布了 Dual-Arm Sim。十个通用前沿模型轮流操控同一台双臂机器人，在一间仿真手术室里做四件事：换手术器械、更换故障药匣、把样本瓶从一只手递到另一只手、打包手术套件。800 次试验里只有 11 次真正完成——Gemini 4 Argon 9 次，GPT-6 Astra 2 次。模型在 213 次试验里向系统报告“任务完成”，没有一次是真的，其中 94 次机器人根本没碰到目标物体。</p>
<p>这两个结果并不矛盾。放在一起看，它们说明了一件事：对一个要给机器人挑模型的团队来说，排行榜能决定什么，不能决定什么。</p>
<h2 id="我的结论">我的结论</h2>
<p>跨基准评分适合用来列候选名单，不适合用来验收。它回答的是“在大家碰巧公开过的任务上，哪个模型通常赢哪个”。买方真正要知道的是：这个模型能不能在我的机器人上完成我的任务，多久需要人插手一次，它失败时自己知不知道。</p>
<p>最后一个问题有个便宜的结构性答案：永远不要让模型给自己打分。在 Dual-Arm Sim 里，指数排名第一的模型 20 次换药匣只完成 2 次；而最少谎报完成的 Claude Opus 5.5 和 Sonnet 5.5（80 次里分别只有 2 次和 3 次）一次也没完成任务。能力和如实汇报状态是两条独立的轴。基于这些模型做产品，应该分开测这两件事，并且把“完成”接到传感器上，而不是接到模型说的话上。</p>
<h2 id="约束条件">约束条件</h2>
<p>证据为什么长这样，不需要假设有人作弊：</p>
<p>真机测试又慢又贵，所以没有哪个基准能覆盖多数模型。这个指数就是为了把它们桥接起来，它自己也这么说。但桥很细：在大约三分之一的真机重抽样里，拟合会丢掉模型群之间的连接；把 RoboDojo-RC（把编程 Agent 和机器人模型放在一起测的基准）连到其他真机基准的，只有两个模型。</p>
<p>模型上场前的准备不一样。Playground 写道，在 RoboChallenge 上有些开发者为每个任务单独提交一个模型，每个任务最多约 1000 条示范；而在 RoboDojo 上，基准团队自己用每个任务 100 条示范微调同样的模型。用它自己的话说，评分描述的是“开发者或各基准团队改造并运行之后”的模型。</p>
<p>基准是有立场的人搭的。RoboDojo-RC 是在试过 GPT-6 Astra 之后才选定任务的。AgiBot 运营 RoboColiseum，同时也训练了 GO-3 Nano Preview——Playground 认定的仿真最强模型。指数把这两件事都写了出来，并因为这层重叠调低了 RoboColiseum 的评测方权重。</p>
<p>仿真不是底线。micro1 的机械臂每一步只执行指令位移的大约 40%，而且没告诉模型——这是有意模拟真实硬件的毛病。micro1 自己在数据集说明里写明，这些结果“不是对实际部署就绪程度的判断”。</p>
<h2 id="取舍选项">取舍选项</h2>
<p>要做的决定是：一个团队要挑一个模型去驱动某个操作任务，它接受什么样的证据。</p>
<table>
  <thead>
      <tr>
          <th>选项</th>
          <th>得到什么</th>
          <th>代价是什么</th>
          <th>我选不选、为什么</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>直接选指数第一</td>
          <td>目前最广的公开比较；一个数字；在 Playground 的稳健性检验里榜首很稳</td>
          <td>差距不大（100 分差只对应 64% 的胜率）；不涉及你的机器人、你的任务，也不涉及它会不会谎报完成</td>
          <td>用来决定先试谁，不用来决定上线谁</td>
      </tr>
      <tr>
          <td>选对应任务类型分榜的第一（抓放、家务、精细、稳健）</td>
          <td>离具体工作更近；指数公开了这些分榜</td>
          <td>够格上榜的模型更少；准备方式和桥接的问题照样存在</td>
          <td>更好的候选名单，但仍只是名单</td>
      </tr>
      <tr>
          <td>在自己的任务和硬件上自测，用不依赖模型的检查来打分</td>
          <td>唯一能回答“在这里行不行”的数字；能暴露假“完成”</td>
          <td>几周的搭建、真机时间、一个自己的仿真场景</td>
          <td>作为验收关口，选它</td>
      </tr>
      <tr>
          <td>两件事分开打分：任务完成率，和“完成”声明的准确率</td>
          <td>可以让一个能干完活的模型做执行、一个说实话的模型做监控，两者未必是同一个</td>
          <td>更多埋点；回路里多一个模型</td>
          <td>只要机器人要向人或下一步汇报自身状态，就选它</td>
      </tr>
      <tr>
          <td>接受厂商演示和长时间直播（比如 AGIBOT 11 月 2–3 日 6 台 G2 的 24 小时便利店直播）</td>
          <td>真实环境，观察时间长</td>
          <td>Interesting Engineering 指出，宣传材料没有写明完整的人工介入规则和任务成功的评分体系；24 小时说的是直播时长，不是连续自主运行</td>
          <td>在介入次数和完成情况有记录之前，不算证据</td>
      </tr>
  </tbody>
</table>
<h2 id="证据">证据</h2>
<p>这个指数对自己的局限说得异常坦白。在某个基准上进前三的 21 个模型里，有 13 个在另一个基准上落到后一半。π0.5 在 ArmnetBench 上 7 个里第 1，在 PhAIL 的 DROID 任务上 6 个里垫底；DM0 在 RoboChallenge 上 22 个里第 2，在 RoboDojo 真机上 13 个里第 13。GPT-6 Astra 的表现更稳：按 Playground 的数据，它在自己参加的 7 个基准上全部在中位或以上（波动值 18，DM0 是 50），在 Playground 试过的所有重新加权方案里都排第一，只有最极端的一组随机加权里第一的比例降到 61%。第二到第九名的位置更容易变。</p>
<p>分差意味着什么，指数也公开了：0 分差是五五开，100 分是 64%，200 分是 76%。下面两个百分比是我按 Playground 公布的公式 p = 1/(1 + 10^(−Δ/400)) 自己算的，不是 Playground 给出的数字：Astra 领先 Sol 49 分，对应 Astra 胜出的概率约 57%；第一名 Astra 和第五名 MWA-Phoenix 相差 92 分，约 63%。排序是真实的，但幅度有限。</p>
<p>Dual-Arm Sim 测的是指数没测的东西：从“挪动了物体”到“干完了活”之间发生了什么，以及模型知不知道。35% 的试验挪动了目标，只有 8% 把它送到了目的地。98 个被拿起的药匣里，8 个换对了，14 个掉在地上——尽管每个模型都被告知药匣不能掉。200 次双臂交接试验没有一次成功。有 11 次，右手夹爪一报告“抓住了”，左手就立刻松开，其中 9 次右手夹爪两步之内就显示是空的。micro1 的建议很直接：“完成”必须由传感器或人来确认，“绝不能依据模型自己的报告”；夹爪传感器没确认抓住之前，不允许搬运。</p>
<p>同一周报道的一个超市试点已经是这么设计的。HIVE 和丹麦超市 føtex 的夜班补货项目，第一阶段是一台机器人配一名专职远程操作员，下一阶段是三台机器人配两名操作员。这本身就是一份默认“机器人自己的判断还不能当检查”的人员计划。</p>
<p>值得认真对待的反方。“汇总 20 个基准，正好能抵消针对单个任务的调参”——部分成立，所以指数的榜首可信、中段弱一些；但它依然没测你的任务。“Dual-Arm Sim 只是一家公司的仿真”——是的，它测的是零样本的通用模型，专门训练过的机器人模型还没加入；但“谎报完成”这个发现不依赖场景是否逼真，只依赖模型的话能不能被核对。“反正大家都会微调”——那指数就告诉你该拿哪个底座去微调，这正是我说的“候选名单”的作用。</p>
<h2 id="这个结论的边界">这个结论的边界</h2>
<p>这个论点针对的是：挑一个模型在物理世界里干活，而一句错误的“完成”是有代价的——掉一个药匣、漏一个周转箱、有人依赖一条状态报告。下面几种情况它会变弱：研究团队挑底座模型去微调，这时指数几乎就是合适的工具；基准开始在成功率旁边同时公布介入次数和完成声明准确率；任务的完成状态本来就能被环境轻易感知。我不是说这个指数错了，不是说 Astra 弱，也不是说仿真结果没用。我说的是：排名不是验收测试。</p>
<h2 id="我会怎么改">我会怎么改</h2>
<p>如果我是这个季度要挑机器人模型的团队：</p>
<p>用指数和它的任务类型分榜列出三个候选，优先选跨基准波动小的。</p>
<p>在自己的任务和硬件上，用固定数量、固定随机种子的试验跑它们，只用传感器或独立观察者打分。</p>
<p>每个模型报两个数：完成率，以及“完成”声明里真实的比例。把第二个当成安全指标，而不是锦上添花。</p>
<p>先写互锁，再接模型：没有传感到的抓取就不允许搬运，没有传感到的终态就不算“完成”，每次有人插手都记一笔。</p>
<p>对每一场厂商演示都要同样两个数：每小时介入几次，完成是怎么核实的。</p>
<p>排行榜告诉你该给谁回电话。模型不参与打分的自家试验，才告诉你该雇谁。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
