Anthropic
决策模型上线前的 10 道通关检查清单
决策模型指的是一类不只生成文字、而是直接给出动作的系统：定什么价、走哪条路由、批不批这笔单、预算怎么分。它们正从研究演示走向大规模可用。OpenAI 的决策模型被报道为面向更广泛用户开放，加上已有的竞争者，这件事只说明一点：模型本身正在变成大宗商品。真正不会被商品化的，是你把它安全部署上线而不炸掉某个昂贵环节的能力。
这份清单刻意写得很硬。每一关只有通过或不通过。如果你拿不出证据——一份文档、一个看板、一个测试、一条已签署的策略——这一关就是不通过。没有部分得分，没有“上线后再说”。
为什么决策模型需要另一套清单
文本模型胡说八道，代价是一段烂文字。决策模型胡说八道，代价是毛利、库存或客户信任。失效模式也不一样：分布漂移、反馈回路、无声退化，以及人类一旦觉得输出“看起来合理”就不再复核的天然惰性。
图示：来源页预览图（仅作编辑上下文；版权归属原发布方） · 来源引用：techcrunch.com
请把模型看作决策系统中的一个部件，这个系统还包括数据输入、策略约束、执行层和人工升级路径。下面的清单审计的是系统，不是厂商的跑分图。
第 1–3 关：问题界定与范围
第 1 关 —— 决策被命名且被限定
通过： 你能用一句话写出这个决策，并给出清晰的动作空间（例如“把每条新线索分配到四个路由队列之一”）。你列出了模型明确不允许决定的事项。 不通过： 范围是“帮助运营”或“提升转化”。范围模糊必然导致爆炸半径无边界。
第 2 关 —— 存在基线，且新方案优于“什么都不做”
通过： 你有书面记录的现有做法：当前规则、人类历史选择，或一个简单启发式。你知道它的准确率和成本。 不通过： 你只拿模型和别的模型比。如果打不赢现有业务流程，这就是个科研项目。
第 3 关 —— 决策错误的代价被量化
通过： 对每类决策，你估算了假阳性与假阴性的代价，并知道哪种错误更严重。这个不对称性将决定你后面的阈值。 不通过： “准确率”是你唯一的指标。准确率会掩盖一个事实：有些错误的代价是另一些的一百倍。
第 4–6 关：数据、评估与影子运行
第 4 关 —— 评估数据按时间切分，并做过污染检查
通过： 你的留出集按时间切分而非随机切分，因此你测试的是真正“未来”的数据。你审计过泄漏：源自结果的标签、在决策点之后才计算的特征、跨切分重复的记录。 不通过： 在单一历史快照上做随机切分。决策模型尤其容易学到“某个时期的结果”，而不是一条规则。
第 5 关 —— 你有对抗样本与边角案例集
通过： 有明确负责人维护一套难看案例：字段缺失、信号矛盾、季节性尖峰、对抗输入，以及目前做这个决策的人最常抱怨的十个问题。 不通过： 你的测试集和训练集同分布，每季度刷新一次，没人负责。
图示：HEXOPS 原创配图（受选题启发，非复制原文图片） · 来源引用：techcrunch.com
第 6 关 —— 影子运行跑满一个完整业务周期
通过： 模型与现有做法并行运行至少一个完整周期（高频决策为一周，慢决策为一个季度），记录它“本会怎么决定”，并由决策负责人审阅对比报告。 不通过： 影子模式只在业务清淡期跑了三天，或者根本没跑。
第 7–9 关：护栏、人工干预与经济性
第 7 关 —— 硬约束放在模型之外
通过： 预算上限、监管边界、公平性约束、最低库存等策略限制，由包裹模型的确定性代码强制执行。模型负责提议，外层负责裁决。 不通过： 约束写在提示词里。提示词是建议，代码才是约束。
第 8 关 —— 人可以推翻，且推翻被记录
通过： 每个决策都有可见的理由说明、一键推翻入口，以及回灌到评估中的推翻日志。你把推翻率当作漂移的前哨指标——它一旦上升，就是最早的警报。 不通过： 推翻在技术上可行但无日志，或者升级路径是一个没人负责的群聊。
第 9 关 —— 时延与单次成本匹配决策回路
通过： 你有书面记录的 p95 时延预算和单次决策成本上限，两者都由业务流程推导而来，并且你在接近真实的负载下验证过模型能否守住。你也知道预算被击穿时的降级方案。 不通过： 你在一个热启动的单次请求上测时延，用价格页的 token 估算测成本。
第 10 关：放量与回滚
通过： 你能按既定档位从 0% 走到 100%，并且停止条件是提前写好的（例如“推翻率连续两天高于 X”或“单决策毛利低于基线”）。回滚是一次配置变更，已在预发环境验证，不需要重新部署。 不通过： 放量只是一个开关，没有停止条件；回滚意味着“回滚提交然后祈祷”。
评分表
| # | 关卡 | 通过标准 |
|---|---|---|
| 1 | 决策被限定 | 一句话范围 + 明确排除项 |
| 2 | 打赢基线 | 现有做法及其成本已记录 |
| 3 | 错误代价已知 | 假阳性/假阴性代价不对称性 |
| 4 | 时间切分评估 | 完成泄漏审计 |
| 5 | 对抗样本集 | 有负责人、持续维护 |
| 6 | 影子周期 | 完整业务周期 + 复核 |
| 7 | 外部约束 | 确定性外层 |
| 8 | 推翻与日志 | 理由、一键、可追踪比率 |
| 9 | 时延与成本 | 负载下守住预算 |
| 10 | 放量与回滚 | 分档 + 预写停止条件 |
10/10 再上线。9/10 时，只有在有一位具名高管书面接受该具体剩余风险的前提下才能上线。低于 9 分，那不是上线计划，那是一场已经定好日期的故障。
核心要点
- 模型是便宜的那部分。外层包装、评估框架和推翻路径，才是工程真正所在。
- 时间切分评估与影子运行，能抓住跑分永远抓不到的失效。
- 约束属于代码，不属于提示词。
- 推翻率是最便宜好用的漂移探测器——第一天就要埋点。
- 一条提前写好的停止条件，比一份漂亮的发布材料更值钱。
下一步
- 本周就用这十道关卡给现有或计划中的决策模型打分，诚实打。
- 每个不通过的关卡，指定唯一负责人和截止日期。没有负责人的关卡不会关闭。
- 在调任何东西之前，先把影子日志搭起来——你没记录的东西就无法评估。
- 在第一个生产请求之前写好停止条件和回滚流程，而不是在第一个糟糕的星期之后。
