个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能

Token 消耗太快怎么查:两个放大器与四步止血

账单几十倍于预算,多半不是单价问题。状态轮询能把请求数放大到 93.88 倍,工具输出回灌吃掉 45.7%–67.8% 的 token。本文给出量基线、三道闸、只压新观察、复测四步,附零依赖护栏脚本。

2026年11月15日 12 小时前 作者 站长 约 7 分钟 4 阅读

同一件任务只跑了一遍,账单却是预算的几十倍。多数人的第一反应是换个便宜的模型,但 11 月 10 日的一篇预印本给出了另一种解释:智能体自己决定什么时候停,而这个决定可以被提示词牵着走,把 API 请求放大到 93.88 倍,任务检查却照样全部通过。

这篇只做一件事:帮你分清钱是在哪一层被乘上去的,然后在那一层下闸。

一、先量三个数,否则优化全靠猜

要量的不是总花费,是三个比值:单任务的工具调用次数、去重后的有效调用次数、工具输出占总 token 的比例。

放大系数 = 实际调用次数 ÷ 去重后有效调用次数。判断标准很直接:接近 1,说明没有重复,问题在单次成本;大于 3,说明有轮询或重读,先削次数;大于 10,先止损,别急着调提示词。

第二个数是输出占比。清华人工智能学院团队的统计显示,在 SWE-bench Verified 上,文件内容、搜索结果、命令行日志这类 observation 占了总 token 的 45.7%,在 Terminal-Bench 上最高到 67.8%。换句话说,一半上下的钱花在「把已经看过的东西再看一遍」。

两个数要一起看。只看放大系数会漏掉「参数每轮都在变」的轮询;只看占比会漏掉次数本身。

两个放大器与三道闸:状态轮询放大请求数,观察回灌抬高单次成本

二、放大器一:状态轮询,一次任务做成一百次

论文标题是《OverServe: Resource Amplification Attacks on SaaS Agents via Tool--Prompt Co-Design》,arXiv 编号 2611.14808,11 月 10 日提交。它做的事听起来不复杂:把 MCP 状态工具和「完成确认」的提示词放在一起设计。

手法值得看清楚。每一次状态工具调用都返回准确状态,也都正常结束——没有报错、没有超时、没有越权。问题出在提示词那句「确认完成后再汇报」:状态一直是 pending,智能体就一遍遍去查,查一次几百 token,查到第一百次,业务早就完成了,钱还在烧。

作者的实验覆盖 Qwen、Nemotron、DeepSeek、Sonnet 四个模型和九个基准中的任务。三个结果放在一起才说明问题:最大放大 93.88 倍;所有运行都通过了原任务检查,也就是从业务结果看一切正常;被测的 MCP 扫描器没有一条告警。

扫描器看不见是有原因的。这类调用没有恶意参数、没有注入痕迹、权限完全合规,唯一的问题是「问得太多次」。现有的安全产品查的是能不能做,很少查做了几遍。这也是它和权限四道闸要解决的不是同一件事:那边的闸拦越权,这边的闸拦重复。

论文算的是订阅制 SaaS 的账——模型和工具调用不额外向客户收费,放大的成本由服务方承担。对按量自付 API 的团队,同一套机制换个方向生效:烧的是自己的账单。

改法在返回体里。多数状态工具的返回只有 {"state": "pending", "message": "订单处理中"} 这一句——智能体读完还是不知道有没有终点,只能按提示词的要求再查一次。补上三个字段就够了:

{
  "state": "pending",
  "terminal": false,
  "next_check_after": 60,
  "checked_at": "2026-11-15T20:04:11+08:00"
}
字段会出事的写法建议写法原因
state只有 pendingpending / done / failed 三态齐全智能体无法判断还有没有终点
terminal不返回true / false明确「这件事已经结束」
next_check_after不返回秒数,或 null把「再查一次」变成有依据的动作
checked_at不返回时间戳区分新状态和又读了一遍旧状态

还要防一个更隐蔽的变体:翻页轮询。参数每轮都变——page 1、page 2、page 3——任何「同参数去重」都抓不到,只能靠次数上限兜底。

三、放大器二:观察回灌,四成到七成 token 花在重读

工具返回的文件、日志、搜索结果会留在上下文里,下一轮调用时整段重新带上。这件事的代价不是线性的:任务越长,每一步要处理的 token 越多,成本是二次增长。

清华团队 11 月中旬公开的 CoACT(arXiv:2607.02911,已被 ICSE 2027 接收)给了量化结果。在 SWE-bench Verified 的 200 个实例、三个模型上,平均减少 33.0% 的总 token,平均 PASS@1 从 69.0% 升到 71.0%,平均交互步数从 56.5 降到 51.2;超过 1K token 的 observation 占比从 32.3% 压到 9.4%。

它的两个设计选择比数字更有用。第一,只压「新进来」的 observation,历史一个字不改。第二,判断压缩好不好,不看像不像原文,而看压缩之后智能体的下一步动作变没变——动作不变,说明信息没丢。这个判据叫 Next-Action Preservation,成本比「跑完整任务再看结果」低得多。

别急着压缩:三种省法里两种更贵

这一节是本文最想让你记住的部分。同为「省 token」,三条路的账完全不同:

路线改了什么结果为什么
只压长度(LLMLingua-2)把观察内容改短总 token 3.795M → 10.329M,PASS@1 57.0 → 50.0信息不够,智能体多跑几轮,省下的被轮次吃掉
改写历史(AgentDiet)定期删掉旧内容token 降了,估算费用 41.26 → 45.65 美元历史一变,KV Cache 无法复用,重新预填充更贵
只压新观察(CoACT)新观察进上下文前压缩,历史不动总 token 3.795M → 2.428M,PASS@1 57.0 → 60.5缓存照常命中,省下的是净额

表里 token 与 PASS@1 是 Qwen3.5-35B-A3B 单模型、200 个实例的口径;费用一列是全模型平均估算,均为团队自述。

第三行值得多看一眼:PASS@1 不是持平,是涨了。原因不难理解——上下文短了,模型不容易被几千行日志带偏。

至于第二行为什么更贵,关键在 KV Cache。模型处理过的前缀会被缓存,下一轮命中就能跳过预填充。一旦改写历史,缓存全废,重算的钱可能超过你省下的那部分。所以顺序应该是:压新不压旧。

四、四步止血,附一段可跑的护栏

第一步,量基线。 挑一个昨天的真实任务,记录三个数:工具调用次数、去重后的有效次数、总 token。没有基线,后面所有改动都无法验证。

第二步,下三道闸。 按拦截顺序排:同参去重(第 3 次相同调用直接短路)、次数上限(单任务封顶,参数在变也能兜住)、预算上限(token 到线终止)。有个细节容易做错——到线时要返回一段「终态指令」给模型,而不是抛异常。抛异常,智能体多半会当成工具故障再试一次,正好是你要避免的动作。

第三步,压观察不动历史。 大输出先落盘,只把摘要、文件路径和行号区间回传给模型;需要细节时让它自己按行号去读。这一条不需要训练压缩器,改的是工具封装,当天就能上线。

第四步,复测。 标准不是「token 降了」,而是「调用次数降了、任务成功率没降」。放大系数收到 2 以内(允许一次合法重查),单任务调用次数接近人工操作的步数,才算收敛。

下面这段可以直接接在工具调度处,零依赖:

from agent_guard import BudgetGuard, TaskTerminated

g = BudgetGuard("order-sync-8821", max_calls=24, max_tokens=120_000, max_identical=2)

for step in agent_loop(task):
    d = g.before(step.tool, step.args)
    if not d.allow:
        task.feed(d.hint)        # 回灌终态指令,而不是抛错
        break
    out = call_tool(step.tool, step.args)
    g.after(step.tool, step.args, out.tokens)

print(g.report())
# {'calls': 2, 'distinct_calls': 1, 'amplification': 2.0,
#  'tokens': 3600, 'repeat_tokens': 1800, 'waste_ratio': 0.5}

脚本内置三个场景,本地跑出来的对比如下:

场景无护栏有护栏省下
状态轮询(订单永远 pending)100 次 / 180,000 tokens2 次 / 3,600 tokens98%
重复读文件(同路径 4 遍)24 次 / 81,600 tokens12 次 / 40,800 tokens50%
翻页轮询(参数每轮都变)60 次 / 132,000 tokens24 次 / 52,800 tokens60%

前两行是去重生效,第三行只有次数上限兜住。注意第三行的放大系数是 1.0——每个调用参数都不同,指标上完全健康,实际却多跑了 24 次。这正是开头说的:单看放大系数会误判。

今天就做的四件事

  1. 随便挑一个昨天的任务,数它的工具调用次数,除以你去重后的步数。
  2. 给状态工具的返回体补上 terminal 与 next_check_after 两个字段。
  3. 在工具调度处加一层 before / after,先把单任务上限设成 24 次。
  4. 把一次性的大输出改成落盘,只回传路径与行号区间。

最后交代口径:OverServe 与 CoACT 都是近期预印本或团队自述结果,本文未做独立复现,引用时保留「最大」「平均」这类限定词。护栏脚本的数字来自本地合成轨迹,用于演示判定逻辑,不代表任何真实业务的账单。如果你在排查的是「账单涨了但任务没做完」,那是另一条线,可参考空头承诺的三种查法;如果是按量计费的单价问题,这张账单拆得更细。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →