个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 五款开源 VLM 的 config.json 与权重文件、vLLM XPU 文档

Arc 上跑多模态模型:视觉编码器吃掉多少显存

VLM 的显存是三笔账:视觉塔权重、图像 token 撑起的 KV、引擎启动时按最大分辨率跑视觉编码器的激活预留。Qwen2.5-VL-7B 的视觉塔只占 8%,但 AWQ 后仍有 3.5GB 是 bf16。

2026年11月18日 13 小时前 作者 站长 约 10 分钟 4 阅读

多模态模型在 Arc 上的显存账,和纯文本模型不是同一道题。视觉编码器的权重只占一小块,真正把卡撑爆的是另外两笔:图像被切成几千个 token 之后撑大的 KV 缓存,以及引擎启动时按最大分辨率跑一遍视觉编码器所预留的激活峰值。

这两个东西的可怕之处在于,它们不跟着你实际发送的图片走。你只发一张 448×448 的小图,预留照样按 12.8M 像素算。不少人第一次在 12GB 卡上起 Qwen2.5-VL,看到「明明只发了一张图就 OOM」就是这个原因。分清这三笔,才知道该先动哪个参数。

下面按三笔账拆开算,数字都能从 config.json、preprocessor_config.json 和权重文件里核出来。模型选的是 2026 年还在被广泛部署的四个:Qwen2.5-VL、Qwen3-VL、InternVL3、LLaVA-OneVision。

第一笔:权重里视觉塔占多少

先看结构。视觉塔(vision tower)输出 patch 特征,投影层(projector / merger)把它映射到语言模型的隐藏维度,剩下的活由 LLM 主干干。三部分参数量差别很大。

模型总参数视觉塔视觉塔占比bf16 权重
Qwen2.5-VL-3B3.75B0.669B18%7.51 GB
Qwen2.5-VL-7B8.29B0.677B8%16.58 GB
Qwen3-VL-8B8.77B0.576B7%17.53 GB
InternVL3-8B7.94B约 0.30B4%15.89 GB
LLaVA-OneVision-7B8.03B0.398B5%16.06 GB

参数是从各仓库 safetensors 头里逐个张量加出来的,不是估算。两个细节值得看。

Qwen2.5-VL 的 3B 和 7B 用的是同一套视觉主干:深度 32、隐藏 1280、patch 14,参数量分别是 669M 和 677M。差的 8M 在投影层的输出维度上——3B 的隐藏维度是 2048,7B 是 3584。所以 3B 版本里视觉塔占了 18%,而 7B 里只占 8%。小模型上,视觉编码器是一笔固定成本,压不下去。

Qwen3-VL-8B 的视觉部分由三块组成:27 层 ViT(411M)、三个 deepstack merger(120M)、最后一个 merger(40M)。deepstack 把中间层的特征也注入语言模型,这部分是为效果花的钱,推理时省不掉。

InternVL3-8B 的视觉塔是 InternViT-300M,448×448 输入、patch 14、24 层。它靠动态切块把大图拆成多块,所以权重小但 token 多,这是另一种取舍。

LLaVA-OneVision 走的是相反方向:视觉塔 398M,投影层只有 17M,但 384×384 一块就是 729 个 token。权重省下来的显存,会在 KV 上还回去一部分。

这两条路线的差别,在 12GB 这种小卡上会放大:省权重是省一次性的,省 token 是省每一轮的。

量化不会缩小视觉塔

Qwen2.5-VL-7B 的 AWQ 权重文件是 6.92 GB,看起来能塞进 12GB 卡。但拆开看 dtype 分布:I32 有 6.53B,BF16 还有 1.77B。

1.77B 是什么?视觉塔 0.677B 加词表嵌入与输出头 1.09B,正好对上。AWQ 配置里的 modules_to_not_convert 把 visual 排除了,lm_head 和 embed_tokens 通常也不量化。

结论很直接:7B 的 int4 版本里,仍有约 3.5 GB 是 bf16。这 3.5 GB 不随量化档位变化,是硬成本。按 4bit 估「7B ≈ 4GB」的人,在这里会差出 3 GB 多。

第二笔:图像 token 撑起来的 KV

分辨率怎么变成 token,各家公式不同,但都是「像素数除以一个常数」。

Qwen2.5-VL 是 14 像素的 patch,再按 2×2 合并,所以 token 数约等于 H×W/784。Qwen3-VL 的 patch 变成 16,H×W/1024。InternVL3 固定 448 一块,每块 256 token;LLaVA-OneVision 按 384 一块,每块 729 token。

输入尺寸Qwen2.5-VL token单图 KVQwen3-VL token单图 KV
448×44825614 MiB19628 MiB
1024×1024133873 MiB1024144 MiB
2048×20485350293 MiB4096576 MiB
默认上限16384896 MiB163842.25 GiB

KV 按 bf16、单图、无并发算。每 token 的 KV 大小是固定的:Qwen2.5-VL-7B 是 56 KiB(28 层 × 4 个 KV 头 × 128 维 × 2 × 2 字节),Qwen3-VL-8B 是 144 KiB(36 层 × 8 个 KV 头)。这个差异来自 GQA 的组数,不是实现问题。

三件事从这里能看出来。

第一,token 数随面积涨,不随边长涨。把 1024 换成 2048,像素 4 倍,token 也 4 倍,视觉编码器那一半的计算量同样跟着 4 倍。

第二,Qwen2.5-VL 的默认上限是 16384 token,来自 max_pixels: 12845056 除以 784。一张 4000×3000 的手机照片约 1200 万像素,切出来接近 1.5 万个 token,比 8000 字的文本还长。

第三,单图 KV 和文本 KV 要加在一起算。Qwen2.5-VL-7B 跑 8k 文本是 448 MiB,再塞一张顶格图就是 1.3 GiB。两笔叠加,加上激活,12GB 卡的余量就没了。

分辨率对延迟的影响比对显存更陡

显存是线性账,延迟不是。

prefill 阶段要先把图像过一遍视觉编码器,再让语言模型对这几千个 token 做注意力。视觉编码器的计算量随 patch 数线性涨,但注意力那一段在满注意力的层里是平方级的。1024 见方的图 1338 个 token,2048 见方变成 5350 个——四倍 token,注意力部分的计算量接近十六倍。

实际影响会被分块 prefill(chunked prefill)摊平一部分,所以你不会看到严格的十六倍,但「大图让首 token 变慢」这件事一定成立,而且比显存增长更明显。

decode 阶段是另一回事。已经编码完的图像 token 不再重算,但每一轮生成都要读全部 KV,所以图越大,每个输出 token 的读取量越大,吐字速度会掉。

896 MiB 的 KV 读一遍就是毫秒级起步,具体多少取决于卡的显存带宽——这也是为什么同型号卡之间的差异,在有图的场景下比纯文本更明显。

这也解释了为什么同一张卡上「纯文本很快、带图明显变慢」是常态而非异常:不是模型变笨了,是每个 token 都要多看几千个位置。

第三笔:启动时按最大分辨率跑的那一遍

这笔最容易漏,也最反直觉。

vLLM 起服务时会做一次显存 profiling:先用 gpu_memory_utilization × 驱动报的总显存,减去这次 profiling 的峰值,剩下的才给 KV 缓存。而这次 profiling 对 VLM 来说,会按最大尺寸的假图跑一遍视觉编码器。

也就是说,不管你后面只发小图,视觉编码器的激活峰值都会按顶格分辨率被预留。按 Intel 技能包里那个估算公式(patch 数 × 4.4 × 视觉中间维度 × 2 字节),Qwen2.5-VL 在 16384 token 时约 1.88 GiB,Qwen3-VL 约 2.37 GiB。同样这两个模型,在 1024×1024 时分别只要 118 MiB 和 148 MiB。

差 16 倍。这就是「我明明只发小图」的来源,也是同一份配置换张小图跑得动、换张手机照片就挂的原因。

InternVL 这类结构是例外:它的视觉塔按固定尺寸切块,profiling 时用的是「视频」,帧数跟着上下文走。所以对 InternVL,缩短 --max-model-len 能连带把这块预留降下来;对 Qwen 系,降上下文没用,得改 max_pixels。

这也是同一张卡上「文本模型能开 32k,VLM 只能开 8k」的原因:不是语言模型装不下,是视觉那一段先占住了。

--gpu-memory-utilization 对它没有调节作用。那个参数是乘在总显存上的比例,profiling 峰值是分子里的常数项,把比例从 0.92 降到 0.85 只会让 KV 更小,不会让视觉预留更小。想降预留,只有改分辨率或换模型。

顺带一句:这些数字是估算模型,Intel 拿它对着 vLLM 0.30.0 的 debug 日志校准过 13 次启动,权重估算在六个 VLM 上与 checkpoint 的实际大小相差 0.5% 以内。但换引擎(SGLang 的预留策略不同)、换驱动版本,绝对值会变,别当常量用。

12GB 和 16GB 分别能跑到哪一档

把三笔加起来,能得出一个不太符合直觉的结论:16GB 卡并没有解锁 7B 级 bf16。这里的 12GB 指 Arc B580,16GB 指 Arc Pro B50 和 16GB 的 A770。

配置权重视觉激活峰值8k 文本 KV12GB16GB
Qwen2.5-VL-3B bf167.5 GB1.9 GB0.29 GB紧但可行宽裕
Qwen2.5-VL-7B AWQ6.9 GB1.9 GB0.45 GB限分辨率可放顶格
Qwen2.5-VL-7B bf1616.6 GB——不行不行
Qwen3-VL-8B bf1617.5 GB2.4 GB1.13 GB不行不行
InternVL3-8B bf1615.9 GB—0.45 GB不行不行

表里的「不行」是权重就超了,不是余量不足。7B bf16 光权重 16.6 GB,16GB 卡一点机会都没有;8B 更远。想把 7B/8B 跑在 bf16 上,起点是 24GB 的 Arc Pro B60。

所以 16GB 这一档的真实价值,不在「能跑更大的模型」,而在「同一个模型能放开分辨率」。12GB 上跑 7B AWQ,max_pixels 得压到 100 万左右才不会在长上下文时炸;16GB 上可以放到默认的 1284 万。

12GB 上的现实选择只有两个:3B bf16(视觉塔占 1.34 GB,跑不满分辨率但质量够用),或者 7B int4 配严格的分辨率上限。这也是为什么按参数量分档的显存表对 VLM 只能作参考——它算的是文本模型。

把一张 12GB 卡拆成四份

算给不放心的人看。一张 B580 驱动报 11.9 GiB,--gpu-memory-utilization 0.85 之后可用 10.1 GiB。

第一份给权重:6.9 GiB(7B AWQ)。第二份给框架与视觉编码器的 buffers:按顶格像素算是 1.0 GiB 加 1.28 GiB。第三份是视觉激活峰值,顶格 1.88 GiB。

三份一加,10.1 已经见底,KV 缓存分不到任何空间——服务在启动阶段就会报显存不足。这就是「什么请求都还没发」时 OOM 的完整解释。

把 max_pixels 压到 100 万像素,第二三份合起来降到 1.3 GiB 左右,能留给 KV 约 1.9 GiB。这个额度装得下 8k 文本(0.45 GiB)加两张 1024×1024 的图(0.14 GiB),还剩三成余量给碎片。

所以「12GB 能不能跑 VLM」的正确答案不是能或不能,是「限到多少像素」。默认参数下,答案是不能。

三个降档手法,按代价排序

第一,限像素。 收益最大,代价最小。vLLM 里把预处理参数压低:

vllm serve Qwen/Qwen2.5-VL-7B-Instruct-AWQ \
  --dtype bfloat16 --max-model-len 8192 \
  --gpu-memory-utilization 0.85 \
  --limit-mm-per-prompt '{"image": 1}' \
  --mm-processor-kwargs '{"max_pixels": 1003520}'

1003520 是 1024×980 量级,约 1280 token。Qwen3-VL 的参数名不同,要传 {"size": {"longest_edge": 1003520}},因为它的 processor 用 longest_edge 和 shortest_edge 两个键。

这一改同时压三样东西:单图 KV、视觉激活峰值、prefill 时间。代价是细节丢失——小字、密集表格会开始糊。

第二,限张数。 --limit-mm-per-prompt '{"image": 1}' 不只是防滥用,它直接决定了最坏情况的 token 数。不设的话,一个请求塞 4 张顶格图,KV 就是 3.5 GiB 起步。

并发也要一起算。KV 预算按并发线性翻倍:上面那 1.9 GiB 在并发 4 的情况下,每路只剩 0.5 GiB,一张 1024×1024 的图加 8k 文本就满了。12GB 卡上跑带图的服务,把并发压到 1 到 2 是常态,别指望还能排队。

第三,客户端降采样。 在送进服务之前把图缩到目标边长,比让服务端做更可控。缺点是绕过了一层保护:客户端不缩、服务端也没限,就是裸奔。

同一张图被反复提问,是 VLM 最典型的用法,比如对着同一张图表问十个问题。这种场景开前缀缓存收益很大:图像 token 在序列开头,命中之后 prefill 可以整段跳过。

命中条件是前缀逐 token 一致。所以要把固定的指令放在图前面、把变化的问题放在图后面;反过来每次都把问题写在前面,缓存永远不命中,每轮都重算那几千个 token。

视频先别顺手打开。一帧 448×448 是 256 token,32 帧就是 8192 token,KV 直接翻倍还多。12GB 卡上做单图问答是可行的,做视频理解基本没戏。

分块(tiling)要单独说。它看起来是「降分辨率」的反面——把大图切成小块分别编码,token 反而变多。InternVL 的动态切块最多 12 块,448×448 一块 256 token,加缩略图约 3.3k token。它解决的是「看清细节」,不是「省显存」。真要省,方向是降像素,不是切块。

怎么验证自己有没有算错

四个动作,按顺序。

先在卡上确认真实显存,别信规格表:xpu-smi discovery -d 0。裸命令不带 -d 是不打印显存字段的。

再看服务的启动日志。vLLM 会打印 profiling 后的可用 KV 块数,反推一下就知道权重加激活占了多少。这个数字比任何估算都准。

再用 model-can-it-fit 报一次,重点看输出里的 Vision tower: 行。如果它写 not sized,说明结论只覆盖了 LLM 主干,视觉塔没算进去——这种时候别把总数当成模型真实占用。

最后发一张固定尺寸的图,看返回里的 prompt_tokens。和 H×W/784 对一下,差得多说明图被 resize 过,你算的分辨率不是实际分辨率。

如果你只是想验证「这张卡能不能跑起来」,不用算这么细:拿一张 1024×1024 的图,把 max_pixels 设到 100 万,跑一次带图的请求,看 memory_allocated() 的峰值和生成是否正常。能跑通再往上加分辨率,比一开始就顶格试要省时间。

往上加的时候记两列数:prompt_tokens 和峰值显存。加到某一档开始 OOM,前一档就是你卡的实际上限。这个上限比任何估算都可靠,也顺便能验证前面那套公式在你这一代驱动上还成不成立。要连出图一起算显存,ComfyUI 那套配置口径是另一套账,别混着用。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →