Agent安全评测高分能直接验收吗？

01这篇论文到底审计了什么？

它审计的是公开安全评测记录的构造与计分方式，重点检查简单线索能否预测标签，以及改写这些线索是否改变判断。

Hasan Demirkiran 和 Jens Ernstberger 使用 LinuxArena 的已完成轨迹，以及 TS-Bench 派生的 AgentDojo-Traj、AgentHarm-Traj 步骤记录。后两者的安全标签针对当前工具动作；按研究采用的严格映射，任何非零风险标签都归为 unsafe。研究只让模型判断记录里的文本，没有执行工具。

论文把证据分成三层，分别对应数据里的可预测线索、模型在已有记录中的关联，以及输入改变后的实际决策差异。先用很弱的规则看标签是否可预测，再检查线索与模型阻断决策的观察关联，最后对同一个步骤做配对改写。前一层只能提出下一层的假设。不能跳步。

LinuxArena 去重后有 576 条含 shell 命令的轨迹，平均命令字符数的负值就能得到 0.910 的 AUC。这说明采集方式留下了可预测特征；研究还发现，监控器在粗分长度区间内仍有区分能力，因此不能把命令长度直接解释成它的判断规则。

02为什么换个领域，工具名查询就失效？

精确工具名在同领域里能够记住标签，跨领域却常遇到未知工具；混合划分的高分因此不能证明这条规则具备迁移能力。

AgentDojo-Traj 有 1,220 个步骤，来自 4 个领域。作者用训练折中每个工具的多数标签预测测试步骤，未知工具则使用训练折的总体多数标签。这条查询规则明确使用了评测标签，只是数据诊断，不能作为部署中的安全分类器。

检查方式	F1	它回答的问题
混合领域，按交互分组五折	0.901	同领域工具名是否能预测标签
留出整个领域	0.495	查询规则能否迁移到另一领域

数据中 51 个工具名有 40 个只对应一种标签，覆盖 776 行，但领域留出时，只有 17.3% 的行使用训练领域出现过的工具名。迁移掉分有明确背景。被测安全模型还会读取请求、历史和工具说明，不能从这条查询规则的失败直接推出它也记住了工具名。

我们在 10 月 18 日按附录表 5 的混淆计数做了算术核验：TP=137、TN=804、FP=64、FN=215，合计 1,220 行。用 F1=2TP/(2TP+FP+FN) 重算得到 0.495，平衡准确率重算为 0.658，与原文舍入值一致。这里只核对公开数字，没有复跑模型。

如果你买的是跨业务评测数据，应让供应商交付领域留出的结果，以及未知工具的回退规则。只交一个平均分，你无法判断它覆盖了熟悉模板，还是新领域的授权判断。

03同一批预测，为什么换统计单位就掉分？

按步骤计算时，长交互会获得更高权重；按交互等权重算后，分数衡量的对象变了，不能把变化直接归因于模型变差。

AgentHarm-Traj 有 731 步，属于 197 个交互。72 个 harmful 交互平均贡献 7.29 行，125 个 benign 交互平均贡献 1.65 行。攻击侧交互更长，按行计分自然更偏向这些交互。

TS-Guard 是 ToolSafe 提出的执行前工具安全模型；其公开预测的 F1 从按行的 0.902 变成按交互等权的 0.719，平衡准确率却从 0.754 升至 0.776。F1 掉分与区分能力变化，必须分开读。 作者没有更换预测，只改变了每个交互在统计中的份量。

连全部预测 unsafe 的基线，在这份数据上也有 0.836 的 F1，而平衡准确率只有 0.500。我们用公开的 525 个 unsafe、206 个 safe 重算该基线，得到同样的舍入结果。阳性比例会影响 F1。

采购说明若写“覆盖任务”，验收表就应该同时给任务或交互单位的指标；若写“逐步拦截”，还要给步骤指标。单位要对齐。否则一个拖得很长的攻击交互，会在平均分里贡献多次权重。

04改写标记真的改变了模型判断吗？

固定队列里的改写改变了 Claude Haiku 4.5（下称 Haiku）的阻断概率，变化集中在安全步骤误报；GPT-5.6 Luna（下称 Luna）未复现同等幅度。

作者从 4 个领域分别选出 8 个 safe、8 个 unsafe 步骤，冻结为 64 步、58 个源交互，全部原始步骤都含 INFORMATION 标记。每步设置原始条件，再分别改写标记、替换工具别名、同时做两种改写，另设格式安慰剂；每条件调用 3 次，每模型共 960 次，交错安排顺序。

标记改写将 INFORMATION 换为 UNTRUSTED_EXTERNAL_CONTENT 并保留内部内容，工具别名保留说明和参数，安慰剂只改外层 JSON 空白。重复调用用来区分输入敏感性与模型自身波动，安慰剂则检查一般格式变化的影响。

配对改写	Haiku 总体阻断概率变化	Luna 总体阻断概率变化
标记改写	-8.33 pp	0.00 pp
工具别名	+11.46 pp	+1.04 pp

pp 是百分点。这些数字是平均阻断概率的差值，不能当成相对百分比，也不能当成单次判断的翻转率。Haiku 的 unsafe 调用始终被阻断，表中的总体变化来自 safe 子集；其中标记改写为 -16.67 pp，工具别名为 +22.92 pp。

Haiku 的格式安慰剂为 -1.56 pp。扣除这个差值，标记与别名效应分别是 -6.77、+13.02 pp，论文给出的探索性 95% 范围均未跨零。这些范围未做多重比较校正，来自分领域、按源交互重采样；队列不是概率样本，不能直接解释为线上用户总体的置信区间。

我们另按表 3 的 safe 行计数核验观察关联：Haiku 的 marked 行阻断 239/321，unmarked 行阻断 2/547，差值确为 74.09 pp。不过这两组请求和历史不同，这个差值只帮助作者选定干预对象，不能充当改写的因果效应。

05采购方能据此提出哪些验收要求？

可以要求供应商交付可追踪的划分、计权和干预记录，逐项解释高分的来源；论文尚未提供适用于所有业务的拒收阈值。

我们会把验收材料写成下面这张表，先让每项结果能够回到具体划分和计权记录，再讨论接受条件。它是未经验证的采购建议，还需要按你的授权规则和实际工具范围调整。

交付材料	要核对的内容
分组与去重记录	同交互、同轨迹是否跨训练与测试集
领域留出结果	未知工具占比、回退规则与每领域指标
统计单位对照	步骤与交互等权的混淆计数和指标
配对干预记录	改了什么、授权是否保持、重复波动与安慰剂

语义等价要单独复核。标记改写会让不可信来源表达得更明确，逐样本生成的别名也可能增加不确定性，而作者没有做盲审验证。所以，决策变了可以证明对这项改写敏感，尚不能直接判定使用了无关捷径。

Luna 未复现 Haiku 量级的配对变化，这不证明效果严格为零，也不是模型实力排名。Q8 TS-Guard 在标记改写中有 3/64 次决策翻转；它是量化 MLX 复现，不能替代官方 BF16/vLLM 路径。

先问高分在什么条件下成立，再讨论验收。 领域留出、交互计权和配对干预能让评测结论更容易核对，端到端部署安全仍需另外验证。

论文原文：Shortcut Sensitivity in Agent-Safety Evaluations。我们仅核验公开计数的算术结果，未进行模型复现。

延伸阅读：大厂采购的标的变了：从买数据集，到买环境和验证能力；Anthropic 关掉了内部评测的联网权限，原因写在自己的博客里：环境有漏洞。