如何避免多智能体 LLM 工作流沦为空谈辩论会
多智能体 LLM 方案做演示很容易,做运营很痛苦。最近有一个实验,把五个不同的大模型放进同一个“组阁谈判室”协商组建政府,这件事值得一读——不是因为政治,而是因为它暴露的失败模式。智能体会向最后发言的一方妥协;会把任务描述重述一遍而不做决定;会烧掉整段上下文窗口,然后回到原点。
如果你在跨境业务的任何环节运行 AI——供应商分级、平台商品页质检、退款裁定、仓储异常处理、本地化审校——你迟早会在同一个闭环里跑不止一个智能体。下面是如何让这个房间不至于变成一场表演。
第 0 步——先证明第二个智能体有必要
大多数“多智能体”问题,其实是单智能体问题配上了更差的管线。在搭房间之前,先问:一个模型加上严格的输出 schema 和工具清单,能不能解决?如果能,就停下。
只有在三种很窄的情形下,多智能体才站得住脚:
- 需要独立判断,且不希望一个模型的框架污染另一个。
- 需要并行处理,且数据源确实不同、权限也确实不同。
- 需要对高成本或不可逆决策做对抗性校验,例如赔付、定价、合规签核。
把理由写成一句话。写不出来,你就是在用延迟和 token 开销换取演示效果。
这个实验真正教给运营者的事

图示:来源页预览图(仅作编辑上下文;版权归属原发布方) · 来源引用:judgementlabs.app
智能体之间谈判时真正有价值的信号,不是模型有多聪明,而是它们能否在社交压力下守住立场,以及系统能否察觉它们没有守住。有三种模式反复出现:
- 迎合性漂移。 对话记录里最后一个强观点,变成全组的观点。
- 立场失忆。 智能体在第三轮让了步,第六轮又把同一件事重新翻出来。
- 共识表演。 所有人都同意,但没有人产出可核验的产物——一个数字、一条记录、一个决策 ID。
这三种问题都能靠流程解决,而不是靠换个更强的模型。这是好消息。
第 1 步——先画决策边界,再画组织架构
明确这个小组有权决定什么、只能建议什么、完全不在范围内。有确凿瑕疵、金额低于 40 美元的退款可以是自动决策;超过 400 美元的退款应进入人工队列;拒付争议对智能体来说完全越界。
把这条边界写进智能体也会读到的那份文档。边界模糊是死循环的最大成因:不知道自己撞的是哪堵墙的智能体,会一直谈下去,直到预算把它掐断。
第 2 步——给每个智能体一张带停止规则的角色卡
角色卡只有五个字段,最多一页:
- 目标——一句话,可度量。
- 输入——可以读取哪些字段、数据表或工具。
- 输出——必须产出的精确 schema。
- 让步规则——在什么具体条件下才改变立场。
- 停止规则——什么时候必须输出
ABSTAIN或ESCALATE,而不是再说一轮。
停止规则是团队最常跳过的一项。没有它,智能体会默认选择礼貌:它们继续说话,不是因为还有内容可说,而是因为对话还没结束。
第 3 步——限制对话,而不只是限制 token
token 预算必要但不充分。再加三道硬上限:
- 轮次上限——例如三个来回后强制汇总。
- 反驳配额——每个智能体对任一论点只有一次反驳机会;要重开已结案的论点,必须在该轮附上新证据。
- 挂钟上限——若 N 秒内未收敛,裁判用现有信息直接裁定。
任何上限触发时,都作为事件记入日志。上限触发频率,是任务范围设定失当最好的预警指标。
第 4 步——在房间里安排一个“红队席位”
指定一个智能体——或用一个独立提示驱动的便宜模型——专门负责反对。不是泛泛地反对:给它一份异议清单去跑,例如“缺哪个输入”“哪一点在欧盟成立而在美国不成立”“现在拍板最坏的合理结局是什么”。
异议席位必须至少产出一条实质性反对意见,或明确证明自己没有找到,并给出推理。一个沉默的异议者和一个坏掉的异议者,从外部无法区分。
第 5 步——用确定性裁判把“提议”与“执行”分开
这是整本手册里杠杆最高的一条。智能体负责提议,代码负责执行。
裁判是一个普通函数,不是模型:它校验 schema、用第 1 步的边界检查决策、确认必需证据字段非空,然后写入记录。校验失败时,把具体错误返回给提议方,而不是含糊的“请重试”。

图示:HEXOPS 原创配图(受选题启发,非复制原文图片) · 来源引用:judgementlabs.app
这一步能整类消除一种事故:某个听上去很有说服力的智能体执行了一次变更,事后却没有人能复盘它是怎么来的。
第 6 步——记录谈判过程,而不只是结果
保存完整对话记录,包含轮次编号、角色 ID、模型 ID、提示词版本,以及裁判的裁决。然后让它可查询。你要能在不到一分钟内回答:哪个智能体最先提出这个异议、经过几轮才达成一致、异议者说了什么。
这里要注意留存策略——对话记录里包含客户数据。PII 要在写入时脱敏,而不是在读取时。
第 7 步——评估校准度,而不是自信度
智能体很擅长“听起来很确定”。要测真正重要的东西:当它说自己 80% 确定时,是否真有 80% 的时候是对的?
用你自己的历史决策构建一个小规模标注集——几百个案例就够起步——按月跟踪每个角色的校准度。发生漂移的角色,要么改提示词,要么砍范围。没有校准度支撑的自信表达,只是装饰。
第 8 步——每周做一次对抗性回放
挑五到十个过去出错的决策,用当前提示词集重新跑一遍,对比对话记录。这能比生产指标更早发现提示词修改和模型升级带来的回归,因为生产环境只会把最终触达客户的失败展示给你。
上线前检查清单
- 写明了为什么需要不止一个智能体
- 决策边界已文档化:自动决策 / 建议 / 越界
- 每个智能体都有角色卡,含停止规则
- 已配置轮次上限、反驳配额、挂钟上限
- 已指定异议席位并附异议清单
- 确定性裁判在执行前校验 schema 与边界
- 全量对话日志,写入时完成 PII 脱敏
- 在标注样本上按角色跟踪校准度
- 每周对抗性回放已排期并有负责人
- 人工升级路径有明确队列与 SLA
关键要点
- 智能体协作中最有意思的失败是社交性的,不是智力性的:漂移、失忆、共识表演。
- 流程修复胜过换模型。角色卡、上限、非 LLM 裁判能解决大部分问题。
- 永远不要让模型成为执行者。智能体提议,代码执行。
- 上限触发频率与异议者沉默,是你最好的两个预警信号。
- 如果一个智能体加一份 schema 就能搞定,就不要搭房间。
下一步
挑一个已经在跑两个或更多模型的线上流程。这周写角色卡,下周加裁判函数,再下周开始对抗性回放。对比前后上限触发频率——这一个数字就能告诉你,这个房间是在干活,还是只是在聊天。
来源
- Judgement Labs,《The Coalition Room》:https://judgementlabs.app/blog/the-coalition-room



