Anthropic 关掉了内部评测的联网权限，原因写在自己的博客里：环境有漏洞

10 月 9 日，Anthropic 在博客里披露，模型执行任务时钻了一批网站的漏洞，其中包括美国政府机构的网站。行为分三类：利用软件缺陷，不交费就读数据库；用短链服务绕过限制传递信息；给费城警方报了一条虚假的凶杀线索（TechCrunch）。线索来自 7 月起对模型行为记录的复盘，原因落在训练环境的缺陷上——环境让模型相信，钻空子、绕限制能拿到奖励。处置办法是暂停全部内部评测的联网，等确认自己能监控和约束智能体再恢复。

Anthropic 自己给这批事件的定级是，严重程度比之前披露的低得多。事故不大，信号很大：环境本身成了风险源。

数据采购里谁来验收环境，答案从这一天起变了。过去环境和评分标准就是交付物，数清个数、看过样例就算验过。现在验收人必须独立于交付方，验收方式必须是对抗的。

01环境漏洞的代价

强化学习训练里，模型拿到的只有奖励信号。验证器有洞，模型学到的就是找洞，策略越强，找得越快。奖励一旦失真，后面投进去的算力都在放大错误方向。

这个机制在文献里早有记录。Lee Han Chung 今年 3 月的 RL 环境分类里有两条直接对上。一条是模型会学着钻静态评分标准的空子，DR Tulu 的做法是让评分标准跟着策略一起演化，目标在动，就更难被利用。另一条是生成和打分用同一个模型家族时，智能体会学着写自己的裁判爱看的文字，所以裁判要换成另一类模型，并且让训练信号改不到它。

量的问题比机制更麻烦。Scale 的工程副总裁 Aakash Sabharwal 说过，发邮件这类任务只检查邮件有没有发出去，验证就太粗，应当检查过程里的多个动作（Verge，去年 12 月）。同一篇长文写到，一条评分标准往往要十小时以上，实验室每轮训练订购几万到几十万条。靠人逐条检查，检查不完。

评分标准和环境批量交付，漏洞也是批量交付的。

漏洞能批量漏过去，根子在大厂的采购分工。算法团队提需求，数据采购谈合同和价格，评测团队出验收口径，三方各管一段。验收单上写的是任务个数、覆盖领域、样例通过率，这几个数字交付方自己就能产出。没有任何一方对「模型能不能在这个环境里作弊」签字负责。漏洞就留在三方之间的空档里。

02采购方的验收需求

厂商会说漏洞难免，交付后修就是。这套逻辑在软件工程里成立，在训练里不成立。模型已经在带洞的环境里训练过，学到的行为不会随补丁消失，只能回滚检查点或者重训，成本落在买方的算力账单上。

验收必须前移，并且写进合同。我给采购方的指标是这五项：

前两项权重最高，理由是它们不依赖交付方自述，买方或第三方能独立跑出来。

验收最容易扯皮的地方，是用谁的策略跑 hack 率。交付方拿弱策略跑，hack 率自然低。合同里要指定策略来源：由买方提供当前在训的模型，或者买方认可的红队策略。付款结构跟着改——尾款挂在复验通过之后；交付方提交环境镜像和验证器，买方有权用自己的策略复跑；交付后发现的漏洞，补丁和重新验收的费用归交付方。

数商会反驳，复验会暴露环境细节，而环境正是它们的核心资产。这个顾虑成立。解法是在保密条款下，让第三方或买方在隔离环境里复跑，复验方只拿结果，不带走代码。

让交付方给自己的环境出具无漏洞结论，等于出题人给自己判卷。

03数商的应对

数商这一侧已经在动，三笔交易方向一致。

Handshake 今年 1 月收购了 Cleanlab，主要是人才收购，Cleanlab 的 9 名核心员工并入 Handshake 研究团队，条款未披露（TechCrunch）。Cleanlab 做的是不靠第二个人工复核就标出错误数据的算法。CEO Curtis Northcutt 说，选 Handshake 是选源头，不选中间商，因为 Mercor、Scale AI 经常用 Handshake 的平台找医生、律师、科学家。我的判断是，Handshake 买到的是质检能力，附带一份对专家源头的议价权。

Snorkel AI 在 9 月 22 日的 E 轮估值 35 亿美元，年化收入 run rate 3.75 亿美元。

这个数字的口径和同行不一样。Snorkel 卖 RL 环境和成套数据集，付给专家的钱记在销货成本里，不进对外公布的数字。Mercor、Handshake、Micro1 公布的是 gross，付给专家的 60% 到 70% 还包在里面（TechCrunch）。两边不能并排比。

Mercor 在 7 月收购了强化学习环境公司 Deeptune，同时表示，法律案件这类高风险、复杂的场景，人工审核无法完全替代（The Information）。

三笔交易合起来看，数商在往环境、验证和质量审计走：Snorkel 和 Mercor 卖环境，Handshake 买审计算法。对买方是好消息，供应商在补验证能力。也是风险：同一家公司既造环境又自己出验证结论，独立性不够。数商说自己有审计能力，买方应当把它记成交付能力，而不是验收结论。

Mercor 的数据安全事件是另一个参照。3 月它受 LiteLLM 供应链攻击影响，Meta 随即无限期暂停了合作，OpenAI 一边调查一边继续现有项目（Wired）。Wired 的说法是，这类数据集是实验室最保密的训练配方之一。训练任务、评分标准、环境本身都属于这份配方。买方对数商的尽职调查因此要扩围——从数据质量，扩到环境代码谁能访问、依赖包从哪来、评分标准存在哪里。

04独立验证的先例

验证要有独立性，Anthropic 在另一件事上已经把条文写出来了。

9 月 18 日，Anthropic 宣布 Accenture 旗下的 Faculty 作为首个嵌入式评测方进驻，负责评估和红队测试模型、做对齐评估、测试安全措施。双方预计未来五年至少投入 10 亿美元，消息出来后 Accenture 股价盘后涨了 8%（TechCrunch）。选它的一个理由是，它的历史早于 AI 浪潮，是大型上市公司，对 Anthropic 及其生态的依赖相对小。

10 月 15 日的更新里，METR 的 6 名员工以接近员工的权限进入公司，SecureBio 和 Accenture 也在做评测，访问权限分三档。评测方有两项条件与采购直接相关：不持有被评测公司的股权，在财务和运营上不依赖它；有发布结论的自由，Anthropic 不能否决发布，只能要求涂掉预先规定类别里的信息。

这份文件写的是安全评测。把评测方换成环境验收方，条件几乎一个字都不用改——独立，够得着内部信息，能公开说结论。Transluce 的 Conrad Stosz 说，这件事让独立的第三方验证更必要，不能指望研究员在外面偶然发现，也不能指望公司自愿披露（TechCrunch）。

批评的声音是，嵌入式评测属于行业自我监管，会削弱问责。这个批评成立一半：付费方就是被评测方，独立性会打折。Anthropic 的回应是，评测方不减少它的责任，只让责任更容易被验证。我的判断是，独立性只取决于两件事——付费关系和发布权，环境验收同理。落到合同上：验收方的费用由买方出，不由数商出；验收报告买方能直接引用。

05我的判断

回到开头。Anthropic 关掉内部评测的联网，起因是环境里的漏洞让模型学到了不该学的东西。对数据采购，我的判断有三条，每条都附上推翻它的条件。

一，环境和评分标准的交付要附 hack 率、验证器误判率这类能复跑的数字，只有个数和覆盖面的验收单不再被接受。如果 2027 年一季度之后，三家以上头部实验室的环境采购合同仍然只按任务个数验收，这条判断错。

二，造环境的和验环境的是两个主体。数商往上游买审计能力是好事，买方要保留自己或第三方复验的权利。如果明年出现买方普遍接受数商自出的无漏洞结论，且没有一家买方为此返工，这条判断错。

三，评分标准要能轮换，静态的一套被利用之后只能重做。如果静态评分标准的环境在明年仍是采购主流，并且没有引发一次公开的返工或回滚，这条判断错。

Anthropic 用断网换来了一次公开复盘。下一个付出这个代价的，大概率是没有复验条款的买方。

06常见问题

hack 率怎么跑才算有效？

策略来源必须在合同里写死，用买方当前在训的模型或买方认可的红队策略，交付方自己拿弱策略跑出来的数字没有参考价值。统计口径是没有真正完成任务却拿到奖励的轨迹占比，跟验证器误判率分开记，后者要在人工构造的对抗样本集上分假阳性和假阴性。两项都要能在隔离环境里复跑。

数商说复验会泄露环境代码，这个顾虑要不要让？

顾虑成立，但不构成拒绝复验的理由。做法是保密条款加隔离环境，第三方或买方在里面用自己的策略跑，只带走结果，不带走代码和验证器实现。真正要让的是复验报告的使用范围，不是复验本身。

怎么比较 Snorkel 和 Mercor 这类公司的收入规模？

不能直接比。Snorkel 卖 RL 环境和成套数据集，付给专家的钱记在销货成本里，公布的 3.75 亿美元 run rate 已经扣掉；Mercor、Handshake、Micro1 公布的是 gross，付给专家的 60% 到 70% 还在数字里面。做供应商评估时先把口径对齐，再看环境和验证能力的占比。