个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 Qwen3 config.json、llama.cpp SYCL 文档与 OOM 文案、llama-bench

Intel 显卡显存不足:上下文、量化与 offload 的配比怎么定

KV cache 按每 token 的固定字节数随上下文线性增长,权重和缓存又是两套量化。先算清四行显存账单,再决定降上下文、换 KV 档位还是 offload,附 8/12/16/24GB 与四档上下文的可用性表。

2026年11月18日 13 小时前 作者 站长 约 10 分钟 4 阅读

显存不够这四个字,在 Intel 卡上通常不是模型太大,而是上下文开得太大。一个 8B 模型 Q4 量化只占 4.7GB,但 32K 上下文的 f16 KV cache 要 4.5GB,两者相加已经超过 8GB 卡的全部容量。

顺序错了就会白折腾:先换更低的量化,发现还是装不下;再关掉 offload,速度掉一半。正确的顺序是先按公式算 KV cache,再决定权重档位,最后才考虑把什么放到 CPU。

这篇给一套可以照着算的方法,以及一张 8/12/16/24GB 与四档上下文的对照表。表里的数字是估算,但公式和模型参数都是公开可查的,你可以用自己的模型替换。

KV cache 随上下文线性增长,斜率由模型结构决定

公式只有一行:

每 token 字节数 = 2 × 层数 × KV 头数 × head_dim × 每元素字节数

前面的 2 是 K 和 V 各一份。层数、KV 头数、head_dim 都能在模型的 config.json 里直接读到,不需要猜。

Qwen3-8B 的参数是 36 层、8 个 KV 头、head_dim 128。代进去:2 × 36 × 8 × 128 × 2 字节 = 147,456 字节,也就是 144 KiB 每 token。乘 4096 得到 0.56GiB,乘它原生的 40,960 上下文得到 5.62GiB。

Qwen3-32B 是 64 层、8 个 KV 头、head_dim 128,每 token 256 KiB,32K 上下文正好 8.6GB。这个数字在第三方实测里出现过,和公式对得上。

这就是「参数量翻四倍,KV 只翻不到两倍」的原因:GQA 把 KV 头压到 8 个,层数才是主要变量。反过来说,一个 32B 模型的 KV cache 可能比 14B 还小,只要它的 KV 头更少。

模型层数KV 头 × head_dim每 token8K32K原生上限
Qwen3-8B368 × 128144 KiB1.13 GiB4.50 GiB40,960(5.62 GiB)
Qwen3-14B408 × 128160 KiB1.25 GiB5.00 GiB40,960(6.25 GiB)
Qwen3-32B648 × 128256 KiB2.00 GiB8.00 GiB见模型卡

Qwen3 系列的原生上下文是 40,960,想跑到 128K 需要按模型卡开 YaRN 一类的长度外推。外推只改位置编码,不会改变 KV 的线性增长,128K 的账要按 128K 算。

一个常被忽略的乘数:并发。-np 4 或 Ollama 的 OLLAMA_NUM_PARALLEL 大于 1 时,每个槽位各有一份 KV cache。四路并发等于把上表的数字乘四,这一步没算进去,就会在第二个请求进来时突然 OOM。

显存账单其实有四行

只算权重和 KV,会得出「应该装得下」的错误结论。实际占用还有两项。

第一行是权重,固定值,等于 GGUF 文件大小加上一点加载开销。

第二行是 KV cache,随上下文线性增长,上面的公式只管这一行。

第三行是计算缓冲区。它和上下文无关,和批大小有关:预填充阶段一次处理多少 token,就要为那么多 token 的中间激活分配空间。llama.cpp 用 -b(逻辑批)和 -ub(物理批)控制,默认物理批 512。把 -ub 降到 128 或 64,能省下几百 MB,代价是预填充变慢。

第四行是运行时与驱动占用。Windows 上 0.8–1.5GB,Linux 无桌面时小得多。SYCL 后端还会额外占一点做 USM 分配和 kernel 参数。

四行相加才是真实占用。这也是为什么有人算出「4.7 + 4.5 = 9.2,12GB 卡够用」,实际却在加载时报 OOM:第三、四行把余量吃掉了。

估算时给计算缓冲区留 0.5–1GB,给运行时留 1GB,是偏保守但不容易翻车的口径。

量化分两种,别混着谈

权重量化决定文件大小,KV 量化决定运行时缓存大小。两者独立,可以任意组合。

权重侧的常用档位,按每权重比特数估:Q4_K_M 约 4.8 bit,Q5_K_M 约 5.5 bit,Q6_K 约 6.6 bit,Q8_0 约 8.5 bit。8B 模型对应大约 4.7GB、5.5GB、6.5GB、8.5GB 的文件。换档的收益是线性的,代价是质量,而且越往低走损失越不平滑。

KV 侧的选项由 -ctk 和 -ctv 控制,允许值是 f32、f16、bf16、q8_0、q4_0、q4_1、iq4_nl、q5_0、q5_1,默认 f16。q8_0 大约把缓存压到一半,q4_0 压到四分之一。

我的建议是只动 K,V 保持 f16,或者两者都用 q8_0。原因在实现上:量化 V cache 要求 Flash Attention 打开,没开时加载会直接停:

quantized V cache was requested, but this requires Flash Attention

-fa auto 时这条错误不一定出现,因为 auto 可能在你的设备上悄悄降级成 disabled,日志里留一行 not supported, set to disabled。要量化 V cache,就显式写 -fa on。

q4_0 在长上下文还有一个反直觉的代价。第三方在 30B 级模型、128K 上下文的测试里记录到,q4_0 在 64K 之后预处理速度相对 f16 出现数量级下降。

原因在于每步反量化的开销随缓存条目数增长。这个测试只代表那一套硬件和模型,但机制是通用的:压得越狠,反量化越贵。

对 Intel 卡来说还有一层:SYCL 后端里量化 KV 的预填充走 oneMKL 的路径,性能特征和 CUDA 不同。所以别把 N 卡上的「q4 KV 无损」经验直接搬过来,先用 q8_0 站稳。

质量上的判断只能自己做。方法是同一段长对话,在 f16 和候选档位各跑一次,问一个只在早期出现过一次的事实。

答对了不代表没问题,答错了说明这档在你的模型上不能用。三句话的短对话测不出来,缓存量化的影响要在几千 token 之后才显现。

offload 之后速度掉多少,取决于模型是不是稠密

稠密模型的每一层每个 token 都要用,放到 CPU 就按内存带宽跑。稀疏的 MoE 只激活少数专家,把专家权重放内存、注意力留显存,速度损失小得多。

Intel 这边可以把两个带宽摆在一起看:Arc B580 的标称显存带宽是 456 GB/s,双通道 DDR5-5600 的理论带宽是 89.6 GB/s。差五倍。这就是「offload 一层掉一点」在稠密模型上的物理上限。

llama.cpp 的两个开关对应两种策略。-ngl N 控制放显存的层数,剩下的留在 CPU;-nkvo(--no-kv-offload)把 KV cache 也挪出显存,权重仍然全在卡上。后者适合「权重刚好装下、上下文装不下」的情况,代价是每个 token 都要从内存读缓存。

MoE 有第三个开关。--n-cpu-moe N(短写 -ncmoe)把前 N 层的专家权重放内存,其余留在显存;--cpu-moe 则把所有专家都放内存。对 12GB 卡跑 30B 级 MoE,这是唯一现实的组合。

调 -ngl 的方法是逐步逼近而不是猜:先用 -c 4096 从 99 开始试,装不下就按 8 层递减,找到能装下的最大层数,再换回实际要用的上下文看还差多少。每次试验都要重新加载模型,所以不要一上来就用大上下文试错。

这里还有一个不该依赖的兜底:SYCL 后端的 GGML_SYCL_HOST_MEM_FALLBACK 默认打开,设备内存满时允许回退到主机内存,需要 Linux 内核 6.8 以上。它的效果是「不崩,但慢得没有征兆」——你以为在跑 GPU,实际每次分配都在跨 PCIe。排查性能问题时要先确认它没被触发。

三种失败模式,对应三种改法

同样是「跑不动」,发生时机不同,原因完全不同。

加载阶段就报 can't allocate,是权重加 KV 的静态占用超了。这种情况降上下文最有效,因为 KV 在加载时按 -c 全量预分配,不是用多少占多少。

加载成功、发一个长 prompt 才报错,是计算缓冲区不够。这一类降 -c 没用,要降 -ub,或者把 prompt 分段送。判断依据是报错的字节数:它随 -ub 变,不随 -c 变。

不报错但速度明显低于预期,是 offload 或 host fallback。查启动日志里 offloaded 12/33 layers to GPU 这类行,前面的数字小于总层数就说明有层在 CPU 上。SYCL 的 host fallback 更隐蔽,日志里不会明确写「内存不够」,只会看到分配成功但速度异常。

./build/bin/llama-bench -m Qwen3-8B-Q4_K_M.gguf -p 512 -n 128 -ngl 99

llama-bench 会把 pp(预填充)和 tg(生成)分开报。pp 正常、tg 很慢,说明是逐 token 的带宽瓶颈,通常是层被卸载了;两个都慢,才可能是卡本身在这个模型上没有优势。

用 Ollama 时判断方式不同:它不会报错,而是把装不下的层放到 CPU,ollama ps 的 PROCESSOR 列变成百分比。看到 70%/30% CPU/GPU 就要回到这张表重新配,而不是继续加 OLLAMA_NUM_PARALLEL。

8/12/16/24GB 与四档上下文的可用性

下面这张表按「权重 + f16 KV + 0.6GB 运行时余量」估算,模型是 Qwen3 系列的 Q4_K_M。✓ 表示有余量,△ 表示能装但剩余不足 1GB,✗ 表示装不下。

显存4K8K32K128K
8GB8B ✓8B ✓8B + q8_0 KV △✗
12GB14B ✓14B ✓8B ✓ / 14B + q8_0 KV △✗
16GB14B ✓14B ✓14B ✓8B + q8_0 KV ✓
24GB32B ✓32B ✓14B ✓ / 32B ✗8B f16 △ / 14B + q8_0 ✓

读这张表要注意三个边界。

第一,△ 在 Windows 上更容易变成 ✗。桌面合成、浏览器、驱动自身会占 0.8–1.5GB,任务管理器里的「专用 GPU 内存」不等于可用量。Linux 无桌面环境时这部分开销小得多。

表里的 available 最好自己量一次,别信标称值。Linux 上 intel_gpu_top 能看实时占用,Windows 上任务管理器的「性能 → GPU」页更直观:

sudo apt install intel-gpu-tools
sudo intel_gpu_top

模型加载完之后看 memory 一行的 used 值,和 ollama ps 或 llama.cpp 日志里的数字对一遍。对不上说明还有别的进程在占显存。

第二,128K 那一列对 Qwen3 需要长度外推,外推后的实际质量不在本文讨论范围。它列出来是为了说明显存账,不是推荐配置。

第三,核显不在表内。核显的 total 会把系统内存算进去,看起来很像大显存,实际带宽只有内存水平,而且和 CPU 抢同一池。B 系列核显跑 8B Q4 在 8K 上下文是可行的,但速度不会比 CPU 好多少。

按行看会更清楚。

8GB 卡的定位是「8B + 短上下文」。4K 和 8K 宽裕,32K 必须同时开 q8_0 KV,剩下的余量已经不允许再开并发。128K 在这张卡上没有可行组合,除非换更小的模型。

12GB 是 Qwen3-8B 的甜点区,8K 到 32K 都能全量装载;14B 在 8K 以内舒服,32K 要配 q8_0 且不能开并发。这也是 Arc B580 这一类卡的实际定位。

16GB 开始能碰 128K,但只对 8B 且必须是 q8_0 KV。14B 的 32K 需要 14GB 左右,在这张卡上还能留出余量。

24GB 是 32B 的入门线,但只到 8K。32K 的 32B 需要 28GB 以上,得往 32GB 档走,或者改用 MoE 加专家卸载。

一组可以直接用的参数

以 12GB 卡跑 Qwen3-8B、32K 上下文为例,llama.cpp 的启动参数:

./build/bin/llama-server -m Qwen3-8B-Q4_K_M.gguf \
  -c 32768 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 \
  --host 127.0.0.1 --port 8080

Windows 上路径和可执行文件后缀不同,参数一致:

build\bin\llama-server.exe -m models\Qwen3-8B-Q4_K_M.gguf ^
  -c 32768 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 ^
  --host 127.0.0.1 --port 8080

Ollama 的等价配置是三个环境变量,作用域要落到服务进程上:

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=32768 ollama serve

注意 Ollama 的 KV 量化是全局的,设了就对所有模型生效;llama.cpp 是按进程的,不同模型可以给不同参数。

装不下时的调整顺序,按性价比排:先降上下文(-c 减半能省一半 KV),再开 q8_0 KV(再省一半),然后降权重档位(Q5 换 Q4),最后才是 -ngl 卸载。前三个基本不损失吞吐,第四个每降一层都在损失吞吐。

怎么确认自己真的撞上了显存上限

SYCL 后端的 OOM 有固定文案,看到这些就不用再猜:

Native API failed. Native API returns: 39 (UR_RESULT_ERROR_OUT_OF_DEVICE_MEMORY)
ggml_backend_sycl_buffer_type_alloc_buffer: can't allocate 3503030272 Bytes of memory on device
failed to allocate SYCL0 buffer

三条指向同一个原因:设备内存不足。官方给的处置是先降 -c,再换更小的量化,或用多卡分摊。

还有一种伪装成 OOM 的情况:分配超过 4GiB 时失败,文案里那个字节数明显大于 4×1024³。这是 Level Zero 的默认单次分配上限,不是显存不够。绕过它要显式打开放宽:

export UR_L0_ENABLE_RELAXED_ALLOCATION_LIMITS=1
set UR_L0_ENABLE_RELAXED_ALLOCATION_LIMITS=1

区分方法很直接:把 -c 降到 2048 还报同样的字节数,就是分配上限问题;字节数随上下文变小,就是真的不够。

最后一条判断依据在启动日志里。llama.cpp 会打印 KV cache 的大小和它落在哪个 buffer。数字和你按公式算的对不上,说明 -ctk/-ctv 没生效,或者被 -fa auto 的降级悄悄改掉了。

按这篇的顺序走一遍,通常不需要换卡。真正需要更大显存的场景只有两个:32B 以上稠密模型要在 32K 以上跑,或者要开多路并发。这两件事都不是调参能解决的,8GB 和 12GB 的差距也不会因为换了量化方式消失。

需要按参数量横向比一遍显存,可以看这张 8 档参数与 3 种精度的对照;Qwen3 这一代的具体边界,27B 在 24GB 上的实测结论比通用表更贴近。要跑 DeepSeek 这类 MoE,权重和 KV 的账是另一套算法,这篇按模型拆过。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →