在 Arc 上跑 Qwen3:量化档位、显存占用与速度预期
按 Qwen 官方 GGUF 仓库的真实文件体积,算清 Qwen3 8B/14B/32B 各量化档的权重与 KV 开销,给出 12GB、16GB、24GB 三档 Arc 显卡的可行组合,并说明思考模式如何把输出长度变成显存压力。
Qwen3 在 Arc 上能不能跑,先算三个数:权重文件多大、每 token 的 KV 缓存占多少、卡上真正能用的显存还剩多少。三个数对上了,档位就定了;对不上,换卡比调参数有用。
这篇用 Qwen 官方 GGUF 仓库的真实文件体积算账,给出 12GB、16GB、24GB 三档卡的可行组合,再解释思考模式(thinking mode)为什么同时放大显存占用和等待时间。版本基线是 2026 年 11 月:llama.cpp v1.0.0(2026-11-13)、Ollama 0.40.x、Intel 显卡驱动 32.0.101.9175。
权重:官方 GGUF 的真实体积
Qwen 官方在 Hugging Face 的 Qwen/Qwen3-8B-GGUF、Qwen3-14B-GGUF、Qwen3-32B-GGUF 三个仓库里各放了五档量化。下面是从仓库读到的实际字节数,换算成 GB(1GB = 10^9 字节)。
| 模型 | Q4_K_M | Q5_K_M | Q6_K | Q8_0 |
|---|---|---|---|---|
| Qwen3-8B(8.2B 参数) | 5.03 | 5.85 | 6.73 | 8.71 |
| Qwen3-14B(14.8B 参数) | 9.00 | 10.51 | 12.12 | 15.70 |
| Qwen3-32B(32.8B 参数) | 19.76 | 23.21 | 26.88 | 34.82 |
有一处容易算错:Q4_K_M 不是「4 bit 乘参数量」。llama.cpp 的 K 系列量化是混合位宽,一部分张量留在 6 bit 甚至 8 bit 上,所以 8B 的 Q4_K_M 是 5.03GB,比按 4 bit 粗算的 4.1GB 大一截。做容量规划时按文件大小算,不要按位宽算。
这三个模型的层数和 KV 头数决定了第二笔开销。从各自的 config.json 读:8B 是 36 层、8 个 KV 头、head_dim 128;14B 是 40 层、8 个 KV 头;32B 是 64 层、8 个 KV 头。三者都是 32 个以上查询头配 8 个 KV 头的分组查询注意力(GQA)。
KV 缓存:被低估的那一半
KV 缓存(KV cache)按 token 线性增长,跟输出长度直接挂钩。用 f16 存,每 token 每层的开销是 2 × KV头数 × head_dim × 2 字节,Qwen3 三个尺寸都是每层 4KB,乘层数就是每 token 的量。
| 模型 | 每 token | 8K 上下文 | 16K | 32K |
|---|---|---|---|---|
| Qwen3-8B | 144 KiB | 1.1 GB | 2.25 GB | 4.5 GB |
| Qwen3-14B | 160 KiB | 1.25 GB | 2.5 GB | 5.0 GB |
| Qwen3-32B | 256 KiB | 2.0 GB | 4.0 GB | 8.0 GB |
32B 在 32K 上下文下光 KV 就是 8GB,这个数字比很多人预期的高。原因不在参数量,在层数:64 层意味着每 token 要存 64 份 K 和 V。
KV 还有两个会翻倍的来源。一是并行请求:Ollama 的官方文档写明,单个模型的并行处理会让上下文按请求数叠加,OLLAMA_NUM_PARALLEL 设成 4、上下文 8K,实际占用就是 32K 的 KV。这个参数默认是 1,但很多人为了「同时开几个窗口」去改它,改完就 OOM。
二是对话历史。多轮对话里每一轮的输入和输出都留在 KV 里,第五轮的显存占用可能是第一轮的三倍。Qwen3 的模型卡建议历史里只保留最终回答、丢掉思考段,原因就在这里:思考段对下一轮没有信息价值,却实打实占着缓存。
还有一笔固定开销:计算缓冲、驱动预留、Level Zero 运行时占用,合起来按 1GB 估比较稳。计算缓冲随批大小(batch)走,-b 和 -ub 调大能提高预填充吞吐,代价是峰值上一个台阶。三项相加才是真实占用。
三档卡的可行组合
下面的组合按「权重 + KV + 1GB 余量 ≤ 可用显存」估。12GB 卡的实际可用值在 11.5GB 上下,16GB 卡约 15.5GB,24GB 卡约 23.5GB。表里的结论是「能不能装下并且留出工作空间」,不是「跑起来爽不爽」。
| 卡 | 组合 | 权重 | KV | 小计 | 结论 |
|---|---|---|---|---|---|
| 12GB(B580) | 8B Q5_K_M + 16K | 5.85 | 2.25 | 9.1 | 宽裕 |
| 12GB | 8B Q6_K + 16K | 6.73 | 2.25 | 10.0 | 可行 |
| 12GB | 14B Q4_K_M + 8K | 9.00 | 1.25 | 11.3 | 紧,长输出会顶到上限 |
| 12GB | 14B Q3_K_M + 8K | 7.32 | 1.25 | 9.6 | 可行,质量有损 |
| 16GB(A770) | 14B Q5_K_M + 16K | 10.51 | 2.5 | 14.0 | 可行 |
| 16GB | 14B Q6_K + 8K | 12.12 | 1.25 | 14.4 | 紧 |
| 16GB | 8B Q8_0 + 32K | 8.71 | 4.5 | 14.2 | 可行 |
| 24GB(Pro B60) | 32B Q4_K_M + 8K | 19.76 | 2.0 | 22.8 | 紧,上下文没多少余量 |
| 24GB | 32B Q3_K_M + 16K | 15.97 | 4.0 | 21.0 | 宽裕 |
| 24GB | 14B Q8_0 + 32K | 15.70 | 5.0 | 21.7 | 可行 |
读这张表有一个原则:12GB 卡的舒适区在 8B,16GB 卡的舒适区在 14B,24GB 卡才轮到 32B 的 4 bit。跨档硬塞的结果不是报错,是上下文被迫压到 4K 以内,长文任务直接不可用。
24GB 上 32B Q4_K_M 虽然装得下,但只剩不到 1GB 余量。Windows 桌面、浏览器、驱动更新程序都在同一块显存里抢,实际表现会比纸面更差。这一档更适合 32B Q3_K_M 加 16K 上下文。
两张 12GB 拼成 24GB,值不值
SYCL 后端支持多卡,但 --split-mode 只有 none 和 layer 两种,按张量切分的 row 模式在文档里仍然标着未支持。这意味着两张 B580 是「前半模型在卡 0、后半在卡 1」,单层内部的矩阵乘法不跨卡并行。
结果就是:能装下的模型变多了,单 token 延迟不会改善,反而因为每层要跨卡传一次激活值而略慢。32B Q4_K_M 这种刚好卡在 24GB 边上的模型,双卡的意义仅限于「装得下」。
还有一条限制:SYCL 探测多卡时只挑计算单元数相同的设备。A770 和 B580 混插,大概率只用上一张,另一张闲着。买单卡 24GB 的 Pro B60 没有这些麻烦,代价是价格。
装得下不等于跑得顺
容量够但一跑就崩,在 Arc 上有两个典型原因。
第一个是单次分配上限。部分 Intel GPU 上,Level Zero 适配器对单次显存分配有 4GiB 左右的上限,超过就直接失败,报错里的「total capacity」却比你要分配的量还大。llama.cpp 的 SYCL 文档在 Q&A 里给的解法是设 UR_L0_ENABLE_RELAXED_ALLOCATION_LIMITS=1。llama.cpp 从 2025.11 起才支持超过 4GB 的设备端分配,更早的版本设了也没用。
第二个是系统内存不够。模型没完全放进显存时,llama.cpp 会把剩下的层留在内存里,每次前向都要搬。物理内存不足、页面文件又设得小,失败方式不是报错,是进程卡死或者直接退出。12GB 卡配 16GB 内存的组合,先加内存比调参数有效。
上下文、思考模式与 KV 的取舍
先把 -c 写死
llama.cpp 的 -c 默认值是 0,含义是「从模型文件里读」。Qwen3 的 max_position_embeddings 是 40960,所以不显式指定时,它会按 40K 去分配 KV——32B 上是 10GB,直接吃掉 24GB 卡的一半。
这条默认值在 12GB 和 16GB 卡上是致命的。启动命令里必须写死 -c,写多大取决于你的实际输入长度,不是越大越好。
# 24GB 卡跑 32B:显式压到 16K,KV 用 q8_0 再减半
llama-server -m Qwen3-32B-Q4_K_M.gguf \
-ngl 99 -c 16384 -fa on \
-ctk q8_0 -ctv q8_0 \
--jinja --port 8080
-ctk 和 -ctv 是 K/V 缓存的存储类型,默认 f16,可选 q8_0、q4_0 等。q8_0 大约把 KV 减半,q4_0 减到四分之一。
代价在精度上。Ollama 的官方文档明确写了一句:GQA 头数多的模型(它举的例子是 Qwen2)在 KV 量化后精度损失更明显。Qwen3 的 GQA 比例是 4:1 到 8:1,属于这句话覆盖的范围。所以 q8_0 可以当默认,q4_0 只在确实差那几 GB 时用。
另一个容易被忽略的参数是 -fa。llama.cpp 的 SYCL 后端在 2026.03 才加上 Flash-Attention 支持,服务端的 -fa 现在接受 on、off、auto,默认 auto。在 Arc 上建议显式写 on,因为它同时影响显存占用和长上下文下的速度。
思考模式真正的代价
Qwen3 默认开启思考,输出会先包一段 <think>...</think>,再给正文。官方模型卡给的建议输出长度是 32768 token,复杂推理任务建议放到 38912。
这不是「多等几秒」的问题。生成的 token 会留在 KV 缓存里,32B 模型每 1000 个思考 token 就是 256MB 显存。一次 8000 token 的思考,等于在权重之外又压了 2GB 上去。
在 24GB 卡上跑 32B Q4_K_M,这 2GB 就是压垮的那一截。表现出来是生成到一半报显存不足,或者速度突然掉一个数量级——因为开始往系统内存里搬 KV。
三个可用的开关,按侵入性从低到高:
- 在提示词末尾加
/no_think。这是模型自带的软开关,Qwen3 会按最近一次指令切换,不需要改服务端配置。 - 调 API 时传
think: false。Ollama 的/api/chat支持这个字段,取值 true、false 或 null(null 用模型默认)。 - llama-server 的
--reasoning-budget N给思考段设 token 上限,默认 -1 表示不限制。它是否生效取决于 GGUF 里带的对话模板,不是所有导出都支持。
注意 null 的含义:Qwen3 的默认值是开启思考,所以不传这个字段等于一直在想。批量跑摘要任务时,这一条会让总耗时翻倍。
日常问答、摘要、翻译这类任务,/no_think 的收益最直接:输出短了,KV 不涨,等待时间按输出 token 数等比下降。数学和代码任务再打开。
档位怎么选
从 Q4_K_M 往上,除 Q8_0 外每升一档体积涨 15% 到 20%,收益是递减的。Q8_0 基本可以当无损参照,代价是体积涨三成、解码速度掉一半——上表里 8B 从 30 tok/s 掉到 14 tok/s 就是这个原因。
所以判断顺序不是「哪个精度高选哪个」,而是先看显存能不能放下下一档。12GB 卡上 8B 从 Q5_K_M 升到 Q6_K 只多花 0.9GB,换来的是更稳的长文表现,这 0.9GB 值得花。但 14B 从 Q4_K_M 升到 Q5_K_M 要多 1.5GB,在 12GB 卡上就得拿上下文去换,通常不划算。
Q4 以下要谨慎。Q3_K_M 在 14B、32B 上还能用,是「大模型低精度」压过「小模型高精度」的典型场景;再往下到 Q2、IQ2,损失开始出现在指令跟随和格式稳定性上,不是靠提示词能补回来的。
还有一个现实约束:Ollama 官方库里的 qwen3 标签只有 q4_K 和 q8_0 两档。想用 Q5_K_M 或 Q6_K,得走 llama.cpp 直接加载 GGUF,或者用 Modelfile 指向本地文件。这也是很多人发现「Ollama 上 8B 只有两个选择」的原因,不是模型只有两档,是分发只做了两档。
两条落地命令
Ollama 走 Vulkan 后端,不需要装 oneAPI。从 0.30 起 Vulkan 默认启用,Windows 上装完官方驱动就能用。
# Windows PowerShell:先设上下文和 KV 类型,再起服务
$env:OLLAMA_CONTEXT_LENGTH="16384"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_FLASH_ATTENTION="1"
ollama serve
# 另一个窗口
ollama run qwen3:14b
OLLAMA_CONTEXT_LENGTH 是全局默认值,官方文档写的出厂值是 4096。这个值对 Qwen3 明显偏小,14B 以上建议至少 8K,做文档问答给到 16K。单次请求可以用 options.num_ctx 覆盖。
验证是否真上了 GPU,看 ollama ps 的 PROCESSOR 列,100% GPU 才算全量卸载。出现 70%/30% CPU/GPU 这种拆分,说明层没放下,生成速度会按慢的那部分算。
llama.cpp 走 Vulkan 或 SYCL,控制粒度更细:
# Windows:解压 llama-b12499-bin-win-vulkan-x64.zip 后(整行执行,别换行)
llama-server -m Qwen3-14B-Q5_K_M.gguf -ngl 99 -c 16384 -fa on -ctk q8_0 -ctv q8_0 --jinja --host 127.0.0.1 --port 8080
# Linux + SYCL:先激活 oneAPI 环境,并锁定到独显
source /opt/intel/oneapi/setvars.sh
export ONEAPI_DEVICE_SELECTOR="level_zero:0"
llama-server -m Qwen3-14B-Q5_K_M.gguf -ngl 99 -c 16384 -fa on \
-ctk q8_0 -ctv q8_0 --jinja --port 8080
--host 127.0.0.1 是故意写的。llama-server 默认只监听本地,一旦为了远程访问改成 0.0.0.0,同网段任何人都能调用你的模型,而它没有鉴权。
速度、首次加载与验证
速度大概在什么量级
公开可查的 Arc 数据不多,但有两组能对上条件。B580 在 llama.cpp Vulkan 后端、Mesa 25.0.7 下,Qwen3-8B Q4_K_M 的解码约 30 tok/s,同模型 Q8_0 约 14 tok/s(llama.cpp 讨论区 #12570 的实测)。A770 走 SYCL 后端,Qwen3-8B Q4_K_M 约 21 tok/s(arc-inference-bench,2026 年 3 月)。
Q8_0 掉到 Q4_K_M 的一半,是因为解码阶段每生成一个 token 都要把权重完整读一遍,速度由显存带宽决定,不由算力决定。这条机制也解释了 14B 和 32B 的位置:它们的权重分别是 8B 的 1.8 倍和 3.9 倍,解码速度大致按这个比例往下走。
按这个推算,14B Q4_K_M 在 B580 上大约十几 tok/s,32B 在 24GB 卡上大约个位数。这是量级判断,不是实测值,具体数字随驱动和 llama.cpp 版本浮动。
A770 的 21 tok/s 和 B580 的 30 tok/s 不能直接比出「谁强」。两者跑的是不同后端(SYCL 对 Vulkan)、不同量化(同为 Q4_K_M 但导出方可能不同)、不同驱动。
16GB 的 A770 优势在容量,不在速度。A 系列的显存带宽本来就低于 B580,解码阶段吃亏是结构性的。选卡时把「能装多大」和「跑多快」分开算,不要指望一张卡两头都占。
预热阶段(prompt processing)是另一回事。同一份测试里 B580 处理 512 token 提示词能到 500 tok/s 以上,比解码快一个数量级。所以长文档问答的瓶颈通常在首字延迟之后的那几十秒解码,不在读提示词。
第一次启动会明显更慢,这不一定是配置问题。SYCL 的文档在已知问题里写着:构建时没有做 AOT(提前编译),好处是二进制小、编译快,代价是首次启动要 JIT 编译内核。
所以「第一次加载花了两分钟、第二次二十秒」是正常现象,别急着换版本。JIT 之后内核驻留在磁盘缓存里,后续启动不受影响。
Vulkan 路径也有一次性开销:第一次要建管线缓存,换驱动版本会重建。这两条都只影响首次,不影响稳态速度。
怎么确认自己没踩坑
跑完一条命令后看三处:
第一,启动日志里的设备枚举行。llama.cpp 启动时会打印后端名和显卡型号,Ollama 在 Linux 下的 journalctl 里能看到 library=Vulkan 这样的字段。找不到任何显卡型号,就是回退到 CPU 了。
第二,显存占用。Windows 任务管理器看「专用 GPU 内存」,它应该接近「权重 + KV」的和。如果只涨了几百 MB,模型还在内存里。ollama ps 的 SIZE 列给的是总占用,把它和手算值对一下,差得太多说明有层没卸载,或者 KV 分配比预期大。
第三,首 token 延迟和解码速度的比例。首 token 快、后续慢是正常的;两者一样慢,通常意味着整段在 CPU 上跑。
显存估算的通用算法可以对着本地跑大模型要多少显存那张表,把权重、KV、缓冲三段分开加。Qwen3 系列的上下文上限另有专文拆过,见Qwen3.8-27B:24GB 能跑,262K 装不下,两篇的口径可以互相校验。
如果只是想先跑通一次,不打算调后端,Ollama 是什么那篇把服务端和客户端的边界讲清楚了,省得在端口和模型目录上绕。
登录后可点赞、收藏与反馈。