DataManing 联系我们 →
行业分析阅读约 8 分钟

大厂采购的标的变了:从买数据集,到买环境和验证能力

阿里在招聘平台上挂过一个岗位,叫数据采购专家(大模型),月薪 40-60K。职责第四条写着:推动采购品类从"买数据"向"买能力"转型。这一句写的不是话术调整,是交付物换代——数商卖出去的东西正在从一份数据集变成一套环境、一个验证器和一组评分标准。

新闻配图:The Verge 特稿《Who’s making the most money in AI?》头图

交付物一变,计价、验收、知识产权跟着全变,买方采购部门要具备的能力也跟着变。我的判断是,谁先把验收能力建起来,谁就拿到定价权。

01采购岗位的措辞

这个岗位的职责写得很具体:评估供应商的数据采集能力,举的例子是仿真引擎和真机遥操作;评估数据处理管线和质量控制标准;技术尽调里看供应商数据生产的自动化水平、成本控制能力和技术迭代路线。

没有一条在问你有多少标注员。

字节成立了 AI 数据与安全一级部门,职责覆盖标准制定、寻源采购、合成清洗、质量评测,采购只是其中一环(智能涌现)。两家的方向一致:大厂采购从下单方变成技术评估方。

原因出在流程里。数据集时代,采购拿到样本,业务方抽检几百条,一致率达标就签字,卡点是价格和交期。环境时代,业务方要的是能跑通训练的环境,采购读不懂验证器,只能把验收权交给算法团队,自己退到商务条款上。招懂技术的采购,是为了把一部分拍板权从算法团队手里拿回来。

我的判断是,环境类合同的技术尽调岗,会在一两年内成为大厂采购部门的标配。如果明年大厂的环境合同仍由算法团队单独签验收,这个判断就错了。

02收购与融资的口径

供给侧在同一时间往同一个方向走。

今年 7 月 9 日,Mercor 收购了 Deeptune,一家帮助训练 AI Agent 的公司,团队整体并入(TechCrunch)。收购目的是快速搭建高度仿真的软件应用训练环境(The Information)。多名研究人员认为,在不少专业场景下,仿真训练环境的效果优于人工标注。

Mercor 自己的立场是,人工调教的需求仍会增长,法律案件这类高风险场景,人工审核替代不了。这话对一半:法律的验证器确实难写。但一家公司同时在补环境能力,说明它不打算只靠卖人力。

再看 Snorkel。9 月 22 日,Snorkel 完成 3.5 亿美元 E 轮,年化收入 run rate 为 3.75 亿美元。它卖 RL 环境和成品数据集,付给专家的钱计入销货成本,不进年化收入的头条数字。

同一时期的另一组数字:Mercor 的 gross 年化收入 20 亿美元,Handshake 今年早些时候达到 10 亿美元。这几家要把六到七成收入直接付给专家,净收入远低于头条数字。

新闻配图:TechCrunch 报道 Snorkel AI 融资的配图(Getty Images)

这些数字不能横向比。

Snorkel 的 3.75 亿是扣过专家成本的口径,Mercor 的 20 亿是含专家成本的 gross 口径。卖人力时间和卖环境,会计口径本身就不同。拿 20 亿去比 3.75 亿的投资人,比错了。交付物的变化,最先在收入口径里露出来。

03交付物从数据集变成环境

数据集交付的是一批静态样本。环境交付的东西要多得多。

Lee Han Chung 今年 3 月的一篇文章,把 Agent 的 RL 环境拆成五样:任务集、harness(模型和环境交互的外壳,含工具和沙箱)、验证器、状态、配置。这个拆法正好对应采购要问的五个问题。

验证器是其中最贵的一样。精修一份 rubric(评分标准)花 10 个小时以上并不少见,一份包含十几条标准;OpenAI 为医疗评测公开的例子里,近 5 万条标准分配给不同的题目;各家实验室每次训练要订的 rubric,是几万到几十万份(The Verge)。Snorkel 的 CEO Alex Ratner 说,环境有时是 DoorDash 或 Salesforce 的复制品,很多时候为某个企业定制。

量级也在这里。Anthropic 仅 2025 年就为 RL 数据拨出超过 10 亿美元预算(智能涌现)。

环境要一个领域一个领域地买。Mercor 的 CEO Brendan Foody 解释过原因:强化学习的泛化半径有限,实验室要针对每个想优化的方向建评测。他是卖方,立场鲜明,但这和 Lee Han Chung 的观察一致:环境的多样性,比单个环境的数量更能决定 Agent 能力的广度。

反方也成立。Surge AI 的 Edwin Chen 说,新的训练形式和旧的几乎互补,实验室仍在买原来那几类数据。数据集不会消失,变化发生在增量上:新增预算流向环境和验证,存量数据集合同续约。

执行层正在公共化。阿里云的智能体沙箱已经商业化,单分钟创建 10 万个沙箱实例,支持百万级并发,按秒计费,场景里直接列了 AgentRL。腾讯云一秒拉起上万个沙箱。跑环境的算力成了标准产品,数商的价值落在任务、验证器和质量上。如果头部数商的环境合同改按沙箱算力时长定价,这个判断就错了。

04环境的验收项

数据集的验收是抽检。环境的验收要问四件事:能不能解,有没有漏洞,难度对不对,会不会被模型钻空子。

三组数字说明这四件事为什么难(甲子光年)。

第一组来自腾讯混元团队。他们从 Hugging Face 和 GitHub 收集了 47678 个公开终端环境,按质量、可解性和难度筛选后只剩 127 个,淘汰率 99.7%。任务要求和检测标准不一致,对小模型影响不大,到大模型就会被直接 hack 掉。

第二组来自 OpenAI。今年 7 月他们重新审计 SWE-Bench Pro,731 个公开任务里约 30% 有不同程度的问题,包括测试过严、提示不完整、测试覆盖不足。

第三组来自 Anthropic。模型、任务和 harness 都不变,只调整 CPU 和内存配置,Terminal-Bench 2.0 在最严和最松的设置之间差 6 个百分点。

环境是需要被审计的软件。验收它要读验证器代码、跑通过率分布、复现资源配置。

验收最容易扯皮的地方在这里。供应商说环境没问题,模型分低是模型弱;买方说任务本身不可解,是环境的错。抽检解决不了这种争议,只有复跑能解决。我的建议是,合同里写死资源配置和验证器版本,验收以买方复跑的结果为准,供应商自测只作参考。

成本结构也在推着买方往这个方向走。Lee Han Chung 引用 AutoEnv 论文,自动生成一个环境的平均成本约 4 美元,瓶颈已经是验证器质量:奖励函数弱的自动环境,会在规模上教错行为。生成越便宜,筛选越贵。能程序化验证的,就不要用 LLM 当裁判。没有这个判断能力的买方,只能听供应商自述。

回到开头那个岗位。它要的是能做技术尽调的人,因为交付物从数据集换成环境之后,原来的抽检流程没法用了,验收环节卡住了采购。

05计价与知识产权

交付物变了,合同里至少两件事要改写。

计价。数据集按条或按小时算,环境没有天然的计量单位。我的建议是按通过验收的环境个数计价,沙箱算力由买方自付。按小时计价会让供应商在慢速交付上有利可图。

知识产权。数据集一旦交付,可以被复制,也容易约束用途。环境里有 harness 和验证器,数商想把同一套环境卖给多家,买方想独占。大厂目前都有一定的数据排他策略,比如设定数据集独家期限,或阶段性买断供应商的核心人员(智能涌现)。这套做法会原样搬到环境上,排他期限和验证器的归属,会成为谈判的中心。

Mercor 的收购可以这么读:自己持有环境能力,就少了一层被买方拆单、被买方自建替代的风险。但这层保护有期限。如果今年 Q4 前三家以上头部实验室公布自建环境团队,数商靠环境能力站住的判断就错了。

数商的收入口径会因此分化,卖人力时间的公司看 gross,卖环境的公司看扣除专家成本后的数字。买方采购团队要补的是验证能力:读验证器、算通过率、复现配置。

阿里那个岗位月薪 40-60K,五项职责写的是图谱、评估、尽调、引入和协同,没有一项是下单。

06常见问题

环境交付没有抽检一致率这类验收依据,验收到底怎么定?

把抽检换成复跑。合同里锁死镜像、CPU 和内存配置、验证器版本号,买方在自己的沙箱里跑一遍通过率分布,和供应商提交的结果对不上就算未通过。Anthropic 那组数据已经说明,光是资源配置的松紧就能让 Terminal-Bench 2.0 差 6 个百分点,配置不写进合同,返工口径根本没法谈。

自动生成环境这么便宜,数商靠什么收钱?

AutoEnv 论文给的平均成本约 4 美元一个环境,生成端已经不值钱了。混元筛 47678 个环境只留下 127 个,淘汰率 99.7%,钱在这 0.3% 的筛选和验证器编写上。能程序化验证的别上 LLM 裁判,这条标准本身就是数商的交付能力。

存量的标注数据集业务现在该收缩吗?

不该。Surge AI 的 Edwin Chen 的判断是新旧训练形式几乎互补,实验室仍在买原来那几类数据。变化在增量:新增预算流向环境和验证,老合同按续约走。真正要调整的是报价结构和收入口径——人力时间的单子继续报 gross,环境的单子要按通过验收的个数计价,两条线分开核算。

#AI数据#数商#RL环境#数据采购#大模型#行业分析