个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 Qwen3 GGUF 仓库实际体积与 config.json、llama.cpp 讨论区实测

在 Arc 上跑 Qwen3:量化档位、显存占用与速度预期

按 Qwen 官方 GGUF 仓库的真实文件体积,算清 Qwen3 8B/14B/32B 各量化档的权重与 KV 开销,给出 12GB、16GB、24GB 三档 Arc 显卡的可行组合,并说明思考模式如何把输出长度变成显存压力。

2026年11月18日 13 小时前 作者 站长 约 12 分钟 2 阅读

Qwen3 在 Arc 上能不能跑,先算三个数:权重文件多大、每 token 的 KV 缓存占多少、卡上真正能用的显存还剩多少。三个数对上了,档位就定了;对不上,换卡比调参数有用。

这篇用 Qwen 官方 GGUF 仓库的真实文件体积算账,给出 12GB、16GB、24GB 三档卡的可行组合,再解释思考模式(thinking mode)为什么同时放大显存占用和等待时间。版本基线是 2026 年 11 月:llama.cpp v1.0.0(2026-11-13)、Ollama 0.40.x、Intel 显卡驱动 32.0.101.9175。

权重:官方 GGUF 的真实体积

Qwen 官方在 Hugging Face 的 Qwen/Qwen3-8B-GGUF、Qwen3-14B-GGUF、Qwen3-32B-GGUF 三个仓库里各放了五档量化。下面是从仓库读到的实际字节数,换算成 GB(1GB = 10^9 字节)。

模型Q4_K_MQ5_K_MQ6_KQ8_0
Qwen3-8B(8.2B 参数)5.035.856.738.71
Qwen3-14B(14.8B 参数)9.0010.5112.1215.70
Qwen3-32B(32.8B 参数)19.7623.2126.8834.82

有一处容易算错:Q4_K_M 不是「4 bit 乘参数量」。llama.cpp 的 K 系列量化是混合位宽,一部分张量留在 6 bit 甚至 8 bit 上,所以 8B 的 Q4_K_M 是 5.03GB,比按 4 bit 粗算的 4.1GB 大一截。做容量规划时按文件大小算,不要按位宽算。

这三个模型的层数和 KV 头数决定了第二笔开销。从各自的 config.json 读:8B 是 36 层、8 个 KV 头、head_dim 128;14B 是 40 层、8 个 KV 头;32B 是 64 层、8 个 KV 头。三者都是 32 个以上查询头配 8 个 KV 头的分组查询注意力(GQA)。

KV 缓存:被低估的那一半

KV 缓存(KV cache)按 token 线性增长,跟输出长度直接挂钩。用 f16 存,每 token 每层的开销是 2 × KV头数 × head_dim × 2 字节,Qwen3 三个尺寸都是每层 4KB,乘层数就是每 token 的量。

模型每 token8K 上下文16K32K
Qwen3-8B144 KiB1.1 GB2.25 GB4.5 GB
Qwen3-14B160 KiB1.25 GB2.5 GB5.0 GB
Qwen3-32B256 KiB2.0 GB4.0 GB8.0 GB

32B 在 32K 上下文下光 KV 就是 8GB,这个数字比很多人预期的高。原因不在参数量,在层数:64 层意味着每 token 要存 64 份 K 和 V。

KV 还有两个会翻倍的来源。一是并行请求:Ollama 的官方文档写明,单个模型的并行处理会让上下文按请求数叠加,OLLAMA_NUM_PARALLEL 设成 4、上下文 8K,实际占用就是 32K 的 KV。这个参数默认是 1,但很多人为了「同时开几个窗口」去改它,改完就 OOM。

二是对话历史。多轮对话里每一轮的输入和输出都留在 KV 里,第五轮的显存占用可能是第一轮的三倍。Qwen3 的模型卡建议历史里只保留最终回答、丢掉思考段,原因就在这里:思考段对下一轮没有信息价值,却实打实占着缓存。

还有一笔固定开销:计算缓冲、驱动预留、Level Zero 运行时占用,合起来按 1GB 估比较稳。计算缓冲随批大小(batch)走,-b 和 -ub 调大能提高预填充吞吐,代价是峰值上一个台阶。三项相加才是真实占用。

三档卡的可行组合

下面的组合按「权重 + KV + 1GB 余量 ≤ 可用显存」估。12GB 卡的实际可用值在 11.5GB 上下,16GB 卡约 15.5GB,24GB 卡约 23.5GB。表里的结论是「能不能装下并且留出工作空间」,不是「跑起来爽不爽」。

卡组合权重KV小计结论
12GB(B580)8B Q5_K_M + 16K5.852.259.1宽裕
12GB8B Q6_K + 16K6.732.2510.0可行
12GB14B Q4_K_M + 8K9.001.2511.3紧,长输出会顶到上限
12GB14B Q3_K_M + 8K7.321.259.6可行,质量有损
16GB(A770)14B Q5_K_M + 16K10.512.514.0可行
16GB14B Q6_K + 8K12.121.2514.4紧
16GB8B Q8_0 + 32K8.714.514.2可行
24GB(Pro B60)32B Q4_K_M + 8K19.762.022.8紧,上下文没多少余量
24GB32B Q3_K_M + 16K15.974.021.0宽裕
24GB14B Q8_0 + 32K15.705.021.7可行

读这张表有一个原则:12GB 卡的舒适区在 8B,16GB 卡的舒适区在 14B,24GB 卡才轮到 32B 的 4 bit。跨档硬塞的结果不是报错,是上下文被迫压到 4K 以内,长文任务直接不可用。

24GB 上 32B Q4_K_M 虽然装得下,但只剩不到 1GB 余量。Windows 桌面、浏览器、驱动更新程序都在同一块显存里抢,实际表现会比纸面更差。这一档更适合 32B Q3_K_M 加 16K 上下文。

两张 12GB 拼成 24GB,值不值

SYCL 后端支持多卡,但 --split-mode 只有 none 和 layer 两种,按张量切分的 row 模式在文档里仍然标着未支持。这意味着两张 B580 是「前半模型在卡 0、后半在卡 1」,单层内部的矩阵乘法不跨卡并行。

结果就是:能装下的模型变多了,单 token 延迟不会改善,反而因为每层要跨卡传一次激活值而略慢。32B Q4_K_M 这种刚好卡在 24GB 边上的模型,双卡的意义仅限于「装得下」。

还有一条限制:SYCL 探测多卡时只挑计算单元数相同的设备。A770 和 B580 混插,大概率只用上一张,另一张闲着。买单卡 24GB 的 Pro B60 没有这些麻烦,代价是价格。

装得下不等于跑得顺

容量够但一跑就崩,在 Arc 上有两个典型原因。

第一个是单次分配上限。部分 Intel GPU 上,Level Zero 适配器对单次显存分配有 4GiB 左右的上限,超过就直接失败,报错里的「total capacity」却比你要分配的量还大。llama.cpp 的 SYCL 文档在 Q&A 里给的解法是设 UR_L0_ENABLE_RELAXED_ALLOCATION_LIMITS=1。llama.cpp 从 2025.11 起才支持超过 4GB 的设备端分配,更早的版本设了也没用。

第二个是系统内存不够。模型没完全放进显存时,llama.cpp 会把剩下的层留在内存里,每次前向都要搬。物理内存不足、页面文件又设得小,失败方式不是报错,是进程卡死或者直接退出。12GB 卡配 16GB 内存的组合,先加内存比调参数有效。

上下文、思考模式与 KV 的取舍

先把 -c 写死

llama.cpp 的 -c 默认值是 0,含义是「从模型文件里读」。Qwen3 的 max_position_embeddings 是 40960,所以不显式指定时,它会按 40K 去分配 KV——32B 上是 10GB,直接吃掉 24GB 卡的一半。

这条默认值在 12GB 和 16GB 卡上是致命的。启动命令里必须写死 -c,写多大取决于你的实际输入长度,不是越大越好。

# 24GB 卡跑 32B:显式压到 16K,KV 用 q8_0 再减半
llama-server -m Qwen3-32B-Q4_K_M.gguf \
  -ngl 99 -c 16384 -fa on \
  -ctk q8_0 -ctv q8_0 \
  --jinja --port 8080

-ctk 和 -ctv 是 K/V 缓存的存储类型,默认 f16,可选 q8_0、q4_0 等。q8_0 大约把 KV 减半,q4_0 减到四分之一。

代价在精度上。Ollama 的官方文档明确写了一句:GQA 头数多的模型(它举的例子是 Qwen2)在 KV 量化后精度损失更明显。Qwen3 的 GQA 比例是 4:1 到 8:1,属于这句话覆盖的范围。所以 q8_0 可以当默认,q4_0 只在确实差那几 GB 时用。

另一个容易被忽略的参数是 -fa。llama.cpp 的 SYCL 后端在 2026.03 才加上 Flash-Attention 支持,服务端的 -fa 现在接受 on、off、auto,默认 auto。在 Arc 上建议显式写 on,因为它同时影响显存占用和长上下文下的速度。

思考模式真正的代价

Qwen3 默认开启思考,输出会先包一段 <think>...</think>,再给正文。官方模型卡给的建议输出长度是 32768 token,复杂推理任务建议放到 38912。

这不是「多等几秒」的问题。生成的 token 会留在 KV 缓存里,32B 模型每 1000 个思考 token 就是 256MB 显存。一次 8000 token 的思考,等于在权重之外又压了 2GB 上去。

在 24GB 卡上跑 32B Q4_K_M,这 2GB 就是压垮的那一截。表现出来是生成到一半报显存不足,或者速度突然掉一个数量级——因为开始往系统内存里搬 KV。

三个可用的开关,按侵入性从低到高:

  • 在提示词末尾加 /no_think。这是模型自带的软开关,Qwen3 会按最近一次指令切换,不需要改服务端配置。
  • 调 API 时传 think: false。Ollama 的 /api/chat 支持这个字段,取值 true、false 或 null(null 用模型默认)。
  • llama-server 的 --reasoning-budget N 给思考段设 token 上限,默认 -1 表示不限制。它是否生效取决于 GGUF 里带的对话模板,不是所有导出都支持。

注意 null 的含义:Qwen3 的默认值是开启思考,所以不传这个字段等于一直在想。批量跑摘要任务时,这一条会让总耗时翻倍。

日常问答、摘要、翻译这类任务,/no_think 的收益最直接:输出短了,KV 不涨,等待时间按输出 token 数等比下降。数学和代码任务再打开。

档位怎么选

从 Q4_K_M 往上,除 Q8_0 外每升一档体积涨 15% 到 20%,收益是递减的。Q8_0 基本可以当无损参照,代价是体积涨三成、解码速度掉一半——上表里 8B 从 30 tok/s 掉到 14 tok/s 就是这个原因。

所以判断顺序不是「哪个精度高选哪个」,而是先看显存能不能放下下一档。12GB 卡上 8B 从 Q5_K_M 升到 Q6_K 只多花 0.9GB,换来的是更稳的长文表现,这 0.9GB 值得花。但 14B 从 Q4_K_M 升到 Q5_K_M 要多 1.5GB,在 12GB 卡上就得拿上下文去换,通常不划算。

Q4 以下要谨慎。Q3_K_M 在 14B、32B 上还能用,是「大模型低精度」压过「小模型高精度」的典型场景;再往下到 Q2、IQ2,损失开始出现在指令跟随和格式稳定性上,不是靠提示词能补回来的。

还有一个现实约束:Ollama 官方库里的 qwen3 标签只有 q4_K 和 q8_0 两档。想用 Q5_K_M 或 Q6_K,得走 llama.cpp 直接加载 GGUF,或者用 Modelfile 指向本地文件。这也是很多人发现「Ollama 上 8B 只有两个选择」的原因,不是模型只有两档,是分发只做了两档。

两条落地命令

Ollama 走 Vulkan 后端,不需要装 oneAPI。从 0.30 起 Vulkan 默认启用,Windows 上装完官方驱动就能用。

# Windows PowerShell:先设上下文和 KV 类型,再起服务
$env:OLLAMA_CONTEXT_LENGTH="16384"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_FLASH_ATTENTION="1"
ollama serve

# 另一个窗口
ollama run qwen3:14b

OLLAMA_CONTEXT_LENGTH 是全局默认值,官方文档写的出厂值是 4096。这个值对 Qwen3 明显偏小,14B 以上建议至少 8K,做文档问答给到 16K。单次请求可以用 options.num_ctx 覆盖。

验证是否真上了 GPU,看 ollama ps 的 PROCESSOR 列,100% GPU 才算全量卸载。出现 70%/30% CPU/GPU 这种拆分,说明层没放下,生成速度会按慢的那部分算。

llama.cpp 走 Vulkan 或 SYCL,控制粒度更细:

# Windows:解压 llama-b12499-bin-win-vulkan-x64.zip 后(整行执行,别换行)
llama-server -m Qwen3-14B-Q5_K_M.gguf -ngl 99 -c 16384 -fa on -ctk q8_0 -ctv q8_0 --jinja --host 127.0.0.1 --port 8080

# Linux + SYCL:先激活 oneAPI 环境,并锁定到独显
source /opt/intel/oneapi/setvars.sh
export ONEAPI_DEVICE_SELECTOR="level_zero:0"
llama-server -m Qwen3-14B-Q5_K_M.gguf -ngl 99 -c 16384 -fa on \
  -ctk q8_0 -ctv q8_0 --jinja --port 8080

--host 127.0.0.1 是故意写的。llama-server 默认只监听本地,一旦为了远程访问改成 0.0.0.0,同网段任何人都能调用你的模型,而它没有鉴权。

速度、首次加载与验证

速度大概在什么量级

公开可查的 Arc 数据不多,但有两组能对上条件。B580 在 llama.cpp Vulkan 后端、Mesa 25.0.7 下,Qwen3-8B Q4_K_M 的解码约 30 tok/s,同模型 Q8_0 约 14 tok/s(llama.cpp 讨论区 #12570 的实测)。A770 走 SYCL 后端,Qwen3-8B Q4_K_M 约 21 tok/s(arc-inference-bench,2026 年 3 月)。

Q8_0 掉到 Q4_K_M 的一半,是因为解码阶段每生成一个 token 都要把权重完整读一遍,速度由显存带宽决定,不由算力决定。这条机制也解释了 14B 和 32B 的位置:它们的权重分别是 8B 的 1.8 倍和 3.9 倍,解码速度大致按这个比例往下走。

按这个推算,14B Q4_K_M 在 B580 上大约十几 tok/s,32B 在 24GB 卡上大约个位数。这是量级判断,不是实测值,具体数字随驱动和 llama.cpp 版本浮动。

A770 的 21 tok/s 和 B580 的 30 tok/s 不能直接比出「谁强」。两者跑的是不同后端(SYCL 对 Vulkan)、不同量化(同为 Q4_K_M 但导出方可能不同)、不同驱动。

16GB 的 A770 优势在容量,不在速度。A 系列的显存带宽本来就低于 B580,解码阶段吃亏是结构性的。选卡时把「能装多大」和「跑多快」分开算,不要指望一张卡两头都占。

预热阶段(prompt processing)是另一回事。同一份测试里 B580 处理 512 token 提示词能到 500 tok/s 以上,比解码快一个数量级。所以长文档问答的瓶颈通常在首字延迟之后的那几十秒解码,不在读提示词。

第一次启动会明显更慢,这不一定是配置问题。SYCL 的文档在已知问题里写着:构建时没有做 AOT(提前编译),好处是二进制小、编译快,代价是首次启动要 JIT 编译内核。

所以「第一次加载花了两分钟、第二次二十秒」是正常现象,别急着换版本。JIT 之后内核驻留在磁盘缓存里,后续启动不受影响。

Vulkan 路径也有一次性开销:第一次要建管线缓存,换驱动版本会重建。这两条都只影响首次,不影响稳态速度。

怎么确认自己没踩坑

跑完一条命令后看三处:

第一,启动日志里的设备枚举行。llama.cpp 启动时会打印后端名和显卡型号,Ollama 在 Linux 下的 journalctl 里能看到 library=Vulkan 这样的字段。找不到任何显卡型号,就是回退到 CPU 了。

第二,显存占用。Windows 任务管理器看「专用 GPU 内存」,它应该接近「权重 + KV」的和。如果只涨了几百 MB,模型还在内存里。ollama ps 的 SIZE 列给的是总占用,把它和手算值对一下,差得太多说明有层没卸载,或者 KV 分配比预期大。

第三,首 token 延迟和解码速度的比例。首 token 快、后续慢是正常的;两者一样慢,通常意味着整段在 CPU 上跑。

显存估算的通用算法可以对着本地跑大模型要多少显存那张表,把权重、KV、缓冲三段分开加。Qwen3 系列的上下文上限另有专文拆过,见Qwen3.8-27B:24GB 能跑,262K 装不下,两篇的口径可以互相校验。

如果只是想先跑通一次,不打算调后端,Ollama 是什么那篇把服务端和客户端的边界讲清楚了,省得在端口和模型目录上绕。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →