一笔没人写进预算的支出
看一个编码 Agent 跑长任务,你会发现它的节奏有点奇怪。它读一个文件,想一下。它跑一遍测试,想一下。它把三步之前就已经决定好的修改打上去,再想一下。
这些「想一下」里,只有一部分是真的推理。其余的,是模型被反复叫回来确认周边程序早就知道的事情:文件读完了、测试挂了、补丁应该打在第四十二行。你正在用前沿模型的价格,为一次文件系统调用和一次 diff 付费。
这不是某一家产品的 bug,而是目前 Agent 循环的默认形态:每一步都是一次完整的推理调用,而每一次调用都会把到此刻为止的全部对话重新吞进去。Postman 团队最近把这件事重新定义为「执行运行时」问题,而不是提示词问题,并给出了把这部分非推理工作从模型路径上拿掉的工具(原文在此)。不管你怎么评价某一家厂商的解法,诊断本身是对的,而且这个问题远不止于编码助手。

图示:来源页预览图(仅作编辑上下文;版权归属原发布方) · 来源引用:dev.to
钱到底花在哪里
把一条 Agent 轨迹拆成阶段,成本分布通常和团队的直觉不符。最贵的往往不是那个漂亮的规划步骤,而是尾部:四十次工具往返、被反复重发的上下文、一次工具返回格式错误后的重试、因为「忘了自己已经有了」而第二第三次重读同一个八百行文件。
三个机制在这里叠加。
上下文是重发,不是记住。 每一轮都把整份对话记录重新送回模型。记录越长,后一步就越比前一步贵,哪怕这一步本身毫无难度。
确定性工作被塞进了随机性接口。 列目录、跑 linter、打一个已经确定的补丁,这些都不需要语言模型。但在默认循环里,它们由一个语言模型来解析、决策、确认。
工具输出没有上限。 一套测试往上下文窗口里倾倒四千行日志,就是对之后每一轮的隐形征税。没有人批准过这笔开销,它只是发生了。
正在形成的架构纠正:把两层拆开
生态里浮现的解法,与其说是一个功能,不如说是一条边界。可以叫它推理层与执行层。
推理层是模型真正值钱的地方:理解意图、选择策略、从歧义中恢复、判断什么时候该停。执行层是一个运行时,用确定性的方式做确定性的事——沙箱化的文件访问、测试执行、结构化的工具返回、上下文压缩、前缀缓存、子 Agent 隔离,让一个嘈杂的子任务永远污染不到主对话记录。
一旦画出这条线,很多原本像是提示词工程的问题,会变成基础设施问题。测试输出在抵达模型之前就被摘要,因为运行时做得到。重复读同一个文件收敛成一个缓存的句柄。长时间的探索性支线在一个子上下文里跑,只回传一段话,而不是一兆字节。

图示:HEXOPS 原创配图(受选题启发,非复制原文图片) · 来源引用:dev.to
战略上的判断是:这一层会很快商品化。模型厂商已经在卖前缀缓存和提示词缓存,网关厂商在卖执行运行时,框架在送上下文管理器。你今天靠更聪明的循环拿到的优势,两三个季度内就会变成入场券。
反方观点:便宜的循环可能是错的循环
在任何人决定围绕成本重写 Agent 栈之前,先说句老实话。
优化循环会掩盖质量退化。 如果你激进地缓存而从不再校验,你得到的只是一个更便宜、但对过期假设自信满满的 Agent。这种失效很安静:token 变少了,日志看起来一样,答案变差了。
抽象本身有维护成本。 一套自研的执行运行时,是又一个凌晨两点要排查的系统。对于一个生命周期只有几个月的内部工具,工程时间的成本可能永远高于 token。
有些冗余是承重墙。 改完之后重读文件、打补丁之后重跑测试,这不是浪费,是验证。诀窍在于区分「模型主动选择的验证」和「框架强加的验证」。只有第二类才是白送的钱。
最深的那个风险:把错误的事变得更便宜。 如果你的 Agent 在真实任务上的成功率是 60%,降本 40% 只是让你更快、更多地得到同样的失望。先修结果,再修账单。
一份不需要重写的 30 天计划
第 1 周——先测量,再优化。 按工具调用、按阶段记录 token 开销,而不是按会话。把每一步标注为「推理」(需要模型判断)或「确定性」(答案本来就知道)。多数团队会发现 50%~70% 的步骤落在第二类,具体数字不重要,重要的是看见你自己那套形状。
第 2 周——先掐掉最明显的出血点。 在边界处截断并摘要冗长的工具输出。把五次文件读取合并成一次。厂商支持前缀缓存就打开。给子 Agent 的输出长度设上限。这些是几小时的工作量,不是几个迭代。
第 3 周——把确定性序列搬进代码。 当 Agent 稳定地在做同一套「读 → 跑 → 打补丁」三步舞时,写一个脚本,让它一次调用。把探索隔离进一个只回传摘要的子上下文。给模型结构化结果,而不是原始数据流。
第 4 周——给每一次成本改动装上质量闸门。 从你自己的待办里挑 20~30 个真实任务,做一个小的评测集。任何触及循环的优化都要对照它测量,并设定单任务开销上限与超限告警。没有评测的成本优化,只是在大规模地祈祷。
关键要点
- 在多数长时间的 Agent 运行中,很大一部分推理开销花在了完全不需要推理的步骤上。
- 核心机制有三个:上下文重发、确定性工作走随机接口、工具输出无上限。
- 正在形成的架构回应,是在推理层与执行层之间划一条硬边界。
- 这一运行时层会迅速商品化,应把它当基础设施,而不是差异化。
- 没有评测集的成本优化,就是让团队更快、更便宜地交付错误答案。
- 先验证,再省钱:分阶段测量开销、掐掉明显出血、重构循环,最后用质量闸门守住一切。
下一步行动
- 拉取一周的 Agent 轨迹,把每一步标注为推理或确定性。
- 找出最大的那个确定性类别,在本迭代内把它写成脚本。
- 在工具边界加上输出截断与前缀缓存。
- 从自己的待办里建立 20 个任务的评测集,然后在做任何进一步调优。
- 设置单任务开销告警,让回归以噪音的形式出现,而不是以季度惊喜的形式出现。
来源
- Postman / Dev.to:Why is your agent paying for inference to read the next file?



