问题

美西时间 11 月 8 日,Node.js 和 Deno 的作者 Ryan Dahl 发帖说:“软件工程这么短时间就转成了 100% AI 写,真让人震惊。”他接着写:AI 写 C++ 比他自己写得还好,但“确认它能正常工作”这个问题“并没有神奇地消失”,“我们只是在以更高的质量交付多得多的代码”。(原文:“It writes C++ better than I ever could, but the problem of making sure it works didn’t magically disappear. we are just shipping enormously more volume at higher quality.”)我 11 月 11 日读到时,这条帖子大约有 184 万次浏览。

这正是没有变便宜的那部分工作。模型一分钟能写一千行,可设计对不对、便宜模型有没有照计划做、这次改动有没有开出漏洞,还是得有人知道。

所以这周的开源推荐,是四个各自想接管一部分“检查”的项目。其中三个在我查看时上了 GitHub 趋势榜,第四个是 Google 在 11 月 7 日宣布的。四个仓库我都在 2026 年 11 月 11 日美西下午 3 点左右打开过。

我的结论

四个项目都以某种方式把“检查”和“干活”分开了,其中 EGM 和 Cloudflare 的 skill 把规则写得最明白:检查的 Agent 不能是干活的那个,而且要不带作者的上下文开始。它们的区别在于什么时候查:

  1. 代码还没写:先审设计。
  2. 交接的时候:给便宜模型一份计划,每一步都附一条命令和预期结果。
  3. 上线之前:找漏洞,再让另一个 Agent 去推翻每一条。

挑一个放在你“出错最贵”那个阶段的工具。另外,“全新上下文”要当成一个需要验证的说法,而不是装了插件就自动拥有的功能。

约束条件

比较这几个项目之前要知道:

  • 星数和提交日期每天都在变。下面的数字是 2026 年 11 月 11 日从 GitHub API 取的快照,提交日期用 UTC。
  • 我读的是 README、文档和一个 issue,没有安装或运行其中任何一个,所以关于行为的描述都是项目自己的说法。
  • 四个里有两个从 9 月中旬起 main 上就没有新提交。对一个主要由 Markdown 提示词组成的 skill 来说,这不一定代表没人维护,但值得知道。
  • 它们解决的问题不同。这里比的是检查放在哪里、有多独立,不是哪个“最好”。

取舍选项

仓库 许可证 星数(11 月 11 日) main 最近提交 查什么、什么时候查
google/elephant-goldfish-model Apache-2.0 17,657 2026-11-11 设计,在写代码之前
shadcn/improve MIT 10,810 2026-09-12 计划和执行,在交接时
cloudflare/security-audit-skill MIT 70,320 2026-09-14 漏洞,每一条都由第二个 Agent 质疑
openai/codex-security Apache-2.0 11,676 2026-11-11 仓库或 diff 里的漏洞,外加补丁和修复验证

Elephant-Goldfish Model:在有人写代码之前先审设计。 一个支持 Antigravity、Claude Code 和 Codex 的插件。“大象”会话带着项目上下文起草设计文档;“金鱼”审稿人只拿到草稿和它引用的源码,看不到之前的对话,专门找没说出口的假设。取舍由你拍板,批准了设计再动手实现。如果你的 Agent 开不出全新的子 Agent,EGM 会直接停下审稿,而不是在同一个上下文里凑合审。它还有一个 drift report,对比设计文档和当前代码哪里对不上。README 写得很克制:“审稿不能替代测试和人的判断”,并且注明这“不是 Google 官方支持的产品”。

有意思的细节在它自己的文档里。支持页说,审稿人隔离方面的证据比安装测试“更窄”。11 月 11 日仍未关闭的 issue #237(10 月 30 日提出)报告:在 Codex 上,审稿人仍然会收到项目级和用户级的 AGENTS.md;在 Antigravity 上会收到项目的 AGENTS.md 和 GEMINI.md。文档说,Claude 的审稿适配器设置了不读 CLAUDE.md;对 Codex 和 Antigravity,目前没有经过验证的指令文件排除机制。提 issue 的人认为,这些文件常常写着团队的既定假设(“我们一律用 X”),审稿人一开始就读了它们,就是带着作者的先入之见在审。EGM 自己的建议是:稳定的约定照样写进指令文件,需要金鱼去质疑的假设,单独写成明确的审稿标准。

improve:让计划自带测试。 shadcn 做的一个 skill,用你最强的模型审计代码库,然后写计划交给便宜模型执行。它自己从不改源码,只往 plans/ 里写东西。计划的每一步都以一条命令和预期输出结尾;计划会记下写它时对应的 git commit,执行者动手前先查有没有偏移;还写明了 STOP 条件。README 承认它的审计子 Agent 会多报,所以主模型会把每个引用的位置重读一遍再给你看。execute 把便宜模型放进隔离的 git worktree 里干活,然后重跑每条完成标准、读 diff,最多来回改两轮。合并永远由你决定。代价是:main 最近一次提交是 9 月 12 日,而且整件事的质量取决于那些检查命令写得好不好。

Cloudflare 的 security-audit-skill:发现漏洞的 Agent 从不确认自己的发现。 一个六阶段的审计 skill:先侦察、再搜寻,然后每个候选漏洞都交给一个全新的验证者,由它想办法推翻。结果只有三种结论:confirmed、needs_validation、rejected,再用一个零依赖的 Node 脚本按 JSON schema 检查 findings.json(另一个脚本检查覆盖台账)。README 把规则说得很直白:“检查一条发现的 Agent,永远不是发现它的那个。”它还要求所有构建或运行目标代码的操作都放在操作系统级沙箱里,并关闭外网。文档里有两个数字值得记住。在他们的测试里,单次运行找到的漏洞大约只有多次运行总数的一半。Cloudflare 自己的博客说,把它扩成覆盖 128 个仓库的扫描系统后,最慢的单个仓库跑了 14 小时多,所以全量扫描成了定期清积压,而不是每个 PR 都跑。在那套系统里,每条确认的漏洞都必须附一个补丁。

Codex Security:打包好的版本。 OpenAI 的 CLI、TypeScript SDK 和 GitHub Action。它可以扫整个仓库、指定路径或一段 Git diff(cs scan . --diff origin/main),验证候选漏洞、生成补丁、验证已有的修复,并导出 SARIF、JSON 或 CSV。每周运行的 Action 示例给每次扫描设了约 5 美元的预估上限,发现问题只报告、不让任务失败;README 也说明进行中的请求可能超出上限。它支持 OpenAI、Amazon Bedrock、OpenRouter、Fireworks AI 和 Cheaper Inference,每个提供方都要自己的凭据。部分网络安全类请求和受保护的发现需要 OpenAI 的 Trusted Access for Cyber。这是四个里最活跃的仓库,最近一次提交就在我打开它前几分钟。

证据

把 Dahl 的问题放在这四个项目旁边,能看出一个规律:

  • 每一种检查都会留下事后能翻看的东西:审过的设计文档、带命令的计划、带结论的 findings.json、保存下来的报告。没有一个要你相信一句“看起来没问题”的聊天回复。
  • 在把独立性写成设计目标的项目里(EGM 和 Cloudflare 的 skill),它也是最难验证的一环。EGM 在文档里写了自己的缺口。Cloudflare 的 skill 靠新开一个 Agent 来获得独立性,可新 Agent 有多“新”,取决于宿主让它有多新。README 没有说宿主的指令文件会不会进到那个 Agent。
  • 重复运行很重要。Cloudflare 说,在他们的测试里,一次运行大约只能找到多次运行总量的一半;Codex Security 的 deep 模式会重复跑 standard 扫描再去重。单次扫描只是一次抽样。
  • 星数和这些都对不上。7 万多星的仓库从 9 月起就没变过,README 把它称为后来那套系统演变出来的单仓库起点。四个里最活跃的是 OpenAI 的 codex-security,我打开它前几分钟还有新提交。

值得认真对待的反驳。“测试已经在做这件事了”:对你想到要测的行为,是的。这几个都替代不了测试,improve 和 Cloudflare 都依赖仓库自己的测试命令。它们针对的是设计错误和没人写过测试的漏洞。“第二个模型有同样的盲区”:部分成立。所以全新上下文才重要,Cloudflare 的博客也说不同模型找到的漏洞各不相同。“这不就是多烧 token”:是的。问题在于多跑一遍是不是比这个 bug 便宜;Cloudflare 说追加一轮大约只要首轮一半的成本,这是这里最接近答案的数字。

这个结论的边界

如果只是在一个你很熟的代码库里改一小处,人工审一遍加测试通常更便宜,也更快。做完就扔的原型,审设计是多余的。它们真正值回成本的场景是:作者是模型,审稿人的时间最稀缺,而且错误会交到没写这段代码的人手里。

我会怎么改

如果这个月要给一个大量用 AI 写的代码库加检查:

第一道检查放在错误代价最高的地方。对多数团队来说,就是设计阶段,赶在模型朝错误方向写出一千行之前。

每次交接都附带一条能判断通过与否的命令,像 improve 的计划那样,执行者不用自己判断是否成功。

每个改动都对 diff 跑安全扫描,再定期做一次全量扫描,而且要预期全量扫描得跑不止一遍。

“全新上下文”这个说法自己测一测。issue #237 的办法很简单:在每个指令文件里放一个标记字符串,让审稿人列出它能看到的所有标记。

最后才看星数。