每个把 AI Agent 推向市场的团队,最终都会撞上同一堵墙。演示能跑通,试点能跑通,然后真实用户用没人写进脚本的方式把它弄坏了——工程团队这才发现,自己的测试集从头到尾测错了东西。
直觉反应是写更多测试。问题在于,Agent 不是函数。它是概率系统:会循环、会调用工具、会保有状态,运行在没人能完全掌控的环境里。断言精确字符串的单元测试,遇到改写就失败,遇到自信满满的错误答案却通过。两种结果都不能告诉你,这个 Agent 是否可以上线。
这正是 Plurai 定位的背景,TechCrunch 对此有报道:借用让自动驾驶汽车开上公共道路的那套方法。不是手写断言,而是构造场景,让 Agent 反复跑过这些场景,再在多次试验上做统计意义上的行为打分。这和多数团队默认的“基准集加仪表盘”思路是两套哲学,而且它只是四条可行路径中的一条。
本文对比这四条路径,给出评估标准对照表,并按场景给出组合建议。
为什么 Agent 评估是另一类问题

图示:来源页预览图(仅作编辑上下文;版权归属原发布方) · 来源引用:techcrunch.com
经典软件测试建立在确定性之上:同样输入、同样输出、同样通过或失败。Agent 三条假设全破。采样温度、工具延迟、检索到的上下文、对话历史,都会移动输出分布。同一个提示跑两次,可能一次正确,一次似是而非地失败。
自动驾驶的类比之所以有用,是因为它重新定义了“在测什么”。你不会靠断言某个方向盘角度正确来验证驾驶模型。你把它放进成千上万公里的模拟与真实路况里,测量结果的分布:多常刹车过晚、雨天表现如何、在含义模糊的四向停车路口会怎么做。覆盖率和失败率取代了通过/失败。
放到 Agent 上,三个问题比任何单条测试都重要:我的场景有多大代表性?下结论之前我跑了多少次试验?这个分数和用户实际体验相关吗?
四种方法横向拆解
1. 静态基准与金标数据集
默认选项。你整理输入输出对,或者拿 Agent 去跑公开基准,然后报告准确率。便宜、可复现、容易进 CI。弱点在覆盖:金标集编码的是你已经想到的失败模式,产品面一变就过期。它们是优秀的回归护栏,糟糕的发现工具。
2. LLM 作为评审的评分量表
让第二个模型按量表给 Agent 输出打分——语气、对检索来源的忠实度、任务完成度。对开放式输出来说,它比精确匹配有意义得多,也能容忍改写。代价是评审自身带偏见:偏爱啰嗦答案、可能被说服而同意、评审模型升级后会漂移。请把评审当成一台需要校准的仪器,用人工标注来对齐。
3. 模拟与场景回放
这就是自动驾驶那套。你搭一个环境——模拟工具、合成用户、对抗性输入、录制的生产轨迹——让 Agent 在里面跑很多次,测的是结果分布而不是单次结果。它是唯一能暴露多步流程和工具交互失败的方法,也是唯一能产出有统计意义的失败率的方法。它同样是最贵的,而且一旦模拟环境与生产脱节,价值立刻崩塌。
4. 线上生产评估
影子模式、灰度、A/B 测试、人工复核队列。这是唯一的地面真相:真实用户、真实长尾、真实后果。信号来得慢,有时来得很痛,但没有别的办法告诉你,离线分数到底有没有意义。代价是暴露风险,所以线上评估必须配护栏——限流、回滚通道、以及升级到人工的路径。
评估标准对照表
| 评估维度 | 静态基准 | LLM 评审 | 模拟与回放 | 线上生产 |
|---|---|---|---|---|
| 搭建成本 | 低 | 低到中 | 高 | 中到高 |
| 真实度 | 低 | 中 | 中到高 | 最高 |
| 长尾覆盖 | 低 | 中 | 高 | 高但不可控 |
| 信号速度 | 即时 | 分钟级 | 分钟到小时级 | 天到周级 |
| 可复现性 | 高 | 中 | 高 | 低 |
| 能否测出失败率 | 否 | 部分 | 可以 | 可以 |
| 主要风险 | 虚假信心 | 评审偏见与漂移 | 模拟与现实脱节 | 用户受损 |
| 最适合 | 回归护栏 | 开放式质量 | 上线前验证 | 确认真实影响 |

图示:HEXOPS 原创配图(受选题启发,非复制原文图片) · 来源引用:techcrunch.com
按场景选型
上线前、影响面大的场景
如果 Agent 触碰资金、基础设施、健康信息或客户数据,模拟与回放应该承担主要权重。围绕“最疼的失败”构建场景套件,跑足够多次以获得稳定的失败率,把发布门禁设在分布上而不是某一次通过上。再配一个小型静态套件作为快速回归触发器,初期线上暴露面保持窄。
面向消费者的对话产品、按周迭代
这里速度优先。LLM 评审量表加一个精简金标集,可以对每次改动给出快速便宜反馈,灰度发布则捕获量表漏掉的问题。值得投入的是评审校准——几百条人工标注就能告诉你,评审的判断是否与用户一致——产品面一变就重审量表。
内部运营自动化
内部 Agent 通常量大、影响面中等,这让线上评估格外划算。对真实流量跑影子模式,可以在切换前拿到贴近现实的失败分类;人工复核队列则把用户纠正转化为新场景。有效的模式是:影子、灰度、转正,全部回流进模拟套件。
多 Agent、重工具链的工作流
当一个 Agent 编排五个工具和两个子 Agent 时,单步评估几乎什么也说明不了。模拟是唯一负担得起的交互失败探索方式——死循环、重复扣费的重试、丢掉上下文的交接。请把环境工程当成一等公民工作流来预算,而不是副业。
务实做法:分层叠加,而非替换
这场对比本质上不是比赛。四种方法回答的是不同问题,成熟团队会按不同节奏全部运行。静态基准每次提交都跑;评审打分每次提示或模型变更都跑;模拟在发布前和每晚跑;线上遥测持续跑,并回流到场景库。
要避免的失败模式是“单一方法的自信”:一片全绿的基准套件,却对真实行为一无所知;或者一套和生产严重脱节的模拟装置,验证的是一个没人使用的系统。无论先投哪一层,都要闭环——每一起线上事故都应该变成场景,每个场景都应该能追溯到真实或可能发生的用户结果。
关键要点
- Agent 是概率系统;单次运行的通过/失败断言几乎测不出有用信息。
- 对多步与重工具链 Agent 而言,模拟与回放是最强的上线前工具,但前提是环境紧跟生产。
- LLM 评审能扩展到开放式质量评估,但自身需要以人工标注做校准。
- 静态基准是优秀的回归护栏,糟糕的发现工具。
- 线上评估是唯一的地面真相——配好护栏使用,并把结果回流到离线套件。
- 按节奏和影响面分层叠加,而不是只选一种。
下一步行动
- 写下你的 Agent 最可能出现的三个严重失败,以及各自的影响面。
- 审视现有测试集:它测的是结果,还是字符串?
- 为最高风险的工作流搭一个最小可用的场景装置,带模拟工具和重复试验。
- 为开放式质量加一套评审量表,并用 100–200 条人工标注做校准。
- 把发布门禁定义为失败率阈值,而不是某一次全绿。
- 用固定节奏把线上事故和用户纠正回流进场景库。



