Arc B580 的 12GB 能跑多大模型:四档参数的真实边界
算清权重、KV cache 与运行时三笔账,给出 7B、13B、14B、32B 在 Q4、Q5、Q8 下的可用上下文与 offload 阈值,并说明越过边界后速度会掉到什么量级。
把 12GB 当成一个固定预算,问题就变成了三道减法。减去权重文件,减去 KV cache(键值缓存),再减去运行时和桌面占用的那一块,剩下的才是能给你的上下文长度。跳过任何一道,结论都会偏乐观。
结论先给:7B 在 Q4、Q5、Q8 三档都能全显存跑,Q8 还能留 32K 上下文;14B 只有 Q4 能在 8K 以内站住,Q5 开始必须 offload;13B 因为用 MHA(多头注意力),KV 比 14B 贵四倍,Q4 也只够 2K–4K;32B 连 Q2 都装不进 12GB。
这就是「四档参数的真实边界」。参数量的直觉在这里失效,架构和量化档位的影响比参数更大。
网上的「12GB 能跑 14B」大多只算了权重,没算上下文。把 14B Q4 加载进去确实只占 9GB,但一开 32K 对话就要再加 6GB,总需求直接越过整卡容量。判断能不能跑,要看「权重 + 你实际会用的上下文」,不是看模型卡片上的参数量。
三笔账:权重、KV、运行时
第一笔是权重,直接看 GGUF 文件大小,不要用「参数量 × 位宽 / 8」估算。Q4_K_M 的实际比特率不是 4.0,而是 4.5 左右;Q5_K_M 是 5.5;Q8_0 接近 8.5。嵌入层和输出层通常保留更高精度,也会把文件撑大一点。
比特率差 0.5,在 14B 上就是 0.9GB 的差距,够不够开 8K 上下文往往就差这一点。所以「Q4 还是 Q5」不只是质量问题,也是上下文预算问题。
文件大小和实际占用还有一层差别。llama.cpp 默认用 mmap 加载,Linux 上会把文件映射进页缓存,RSS 看着不大,但显存里仍然要有完整副本;Windows 上 mmap 的行为更接近直接读入。算显存时按文件大小算,不要按任务管理器里的进程内存算。
第二笔是 KV cache,公式是 2 × 层数 × KV 头数 × head_dim × 每元素字节数 × token 数。系数 2 是 K 和 V 各一份,fp16 每元素 2 字节。这个公式里没有「参数量」,所以 13B 和 14B 的 KV 成本可以差四倍。
KV 头数是关键变量。2026 年的模型普遍用 GQA,把 32–40 个查询头压到 4–8 个 KV 头,KV 成本降到原来的八分之一到十分之一;2023 年的 13B 还在用 MHA,每个查询头配一个 KV 头,长上下文自然吃不消。
KV 也有量化档位。q8_0 是常用选择,容量减半,质量损失在多数对话任务上看不出来;q4_0 能再减一半,但需要更完整的 FA 支持,长上下文下更容易出现重复和跑题。省显存和省质量之间,q8_0 是平衡点。
第三笔是运行时。12GB GDDR6 实际是 11.18GiB,Windows 桌面合成、浏览器、驱动常驻会拿走 0.7GiB 左右,llama.cpp 的计算缓冲、上下文元数据再拿 0.5GiB 左右,留给权重和 KV 的可用预算约 10.0GiB。Linux 无桌面环境大约 10.5GiB。
这不是精确值,但它解释了为什么「12GB 显卡显示 11.8GB 可用」和「模型只能用到 10GB」会同时成立。驱动报告的可用显存包含桌面已经占用的部分,任务管理器里的数字也不是实时刷新,按 10GiB 规划最稳,具体模型可以套显存估算表的口径。
驱动版本会影响这 0.5GiB 的波动。Intel 的 Vulkan 驱动在 2026 年仍是每月更新,某些版本的计算缓冲会多占一两百 MB,恰好把 14B Q4 的 8K 上下文顶出边界。遇到「昨天能跑今天不能」,先回滚驱动再查模型。
| 模型 | 层数 | KV 头数 | 每 token KV | 8K 上下文 | 32K 上下文 |
|---|---|---|---|---|---|
| Qwen2.5-7B | 28 | 4 | 56KiB | 448MiB | 1.75GiB |
| Llama-2-13B | 40 | 40 | 800KiB | 6.25GiB | 25GiB |
| Qwen2.5-14B | 48 | 8 | 192KiB | 1.5GiB | 6GiB |
| Qwen2.5-32B | 64 | 8 | 256KiB | 2GiB | 8GiB |
这张表解释了大部分反直觉现象。Llama-2-13B 的 32K KV 要 25GiB,比模型权重还大;Qwen2.5-14B 的 32K KV 只有 6GiB。同样是「十几 B」,一个能开长上下文,一个不能。
四档参数 × 三档量化
下表按 Windows 桌面机的 10.0GiB 预算计算。权重列是 GiB,KV 列按能站稳的最大上下文算,结论列写的是「全显存能跑到多少上下文」。
| 模型 | 量化 | 权重 | 可用上下文 | 结论 |
|---|---|---|---|---|
| Qwen2.5-7B | Q4_K_M | 4.36 | 64K(KV 3.5) | 宽松,还能再开大 |
| Qwen2.5-7B | Q5_K_M | 5.07 | 64K(KV 3.5) | 宽松 |
| Qwen2.5-7B | Q8_0 | 7.54 | 32K(KV 1.75) | 可用,64K 会溢出 |
| Llama-2-13B | Q4_K_M | 7.33 | 2K–3K(KV 1.6–2.3) | 勉强,长上下文没戏 |
| Llama-2-13B | Q5_K_M | 8.60 | 1K 左右 | 等于不可用 |
| Llama-2-13B | Q8_0 | 12.88 | 0 | 权重就超了 |
| Qwen2.5-14B | Q4_K_M | 8.37 | 8K(KV 1.5) | 可用,16K 要压 KV |
| Qwen2.5-14B | Q5_K_M | 9.79 | 0–2K | 基本不可用 |
| Qwen2.5-14B | Q8_0 | 14.62 | 0 | 权重就超了 |
| Qwen2.5-32B | Q4_K_M | 18.5 | 0 | 差 8GiB 以上 |
| Qwen2.5-32B | Q5_K_M | 21.7 | 0 | 差 11GiB |
| Qwen2.5-32B | Q8_0 | 32.4 | 0 | 差 22GiB |
把这张表和「12GB 能跑 14B」的流行说法对一下,会发现两者不矛盾,只是后者省略了上下文。14B Q4 确实能全显存跑,但只剩 8K;想要 32K,KV 要 6GiB,总需求 14.4GiB,必然溢出。
7B:三档都能跑,Q8 是性价比拐点
7B 是这张卡最舒服的档位。Q4 权重 4.36GiB,配 64K 上下文总共 7.9GiB,还剩 2GiB 给运行时,属于「不用算也能跑」。Q5 只多 0.7GiB,质量提升比 Q4 到 Q5 的常规收益更明显,是多数人的默认选择。
Q8 的意义不同。权重 7.54GiB 已经把预算吃掉四分之三,只能给 32K;再往上就是拿上下文换精度。除非任务对量化误差极敏感(比如结构化抽取、代码生成里的长标识符),否则 Q8 不划算。
实测参考:Reddit r/IntelArc 有用户在 B580 上用 llama.cpp Vulkan 跑 Qwen2.5-7B-Instruct,Q4_K 约 62 tok/s、Q6_K 约 43 tok/s、Q8_0 约 35 tok/s(2025 年初,单条测试)。速度随文件变大近似线性下降,这符合带宽瓶颈的判断。
7B 还有一个变体值得试:总参数 12B、激活 2B 左右的 MoE。它的权重按 12B 算,显存要吃 7GB 上下,但 decode 只走激活部分,速度比同体积的稠密模型快。代价是上下文仍然按总参数算,装得下不等于跑得快。
13B:老架构的 KV 陷阱
13B 的问题不在权重,在 KV。Llama-2-13B 用的是 40 层、40 个 KV 头的 MHA,每 token 800KiB,是 Qwen2.5-14B 的四倍多。Q4 权重 7.33GiB 看着宽裕,配上 4K 上下文就冲到 10.46GiB,越过 10.0GiB 的线。
结果就是:13B Q4 只能给 2K–3K 上下文,Q5 直接没有可用空间,Q8 连权重都放不下。这不是卡的问题,是 2023 年的模型架构没有为长上下文设计。
如果非要用 13B 级模型,优先选同代但换了 GQA(分组查询注意力)的版本。同样是 13B–14B,KV 能省到四分之一,上下文立刻从 2K 变成 8K。
这也是为什么 2026 年还抱着 Llama-2-13B 的教程不值得跟。模型本身没坏,但它的显存结构不适合 12GB 卡;同样的权重体积,换一个 GQA 架构的 14B,体验会好一个档。
14B:Q4 是唯一现实档
14B Q4_K_M 权重 8.37GiB,留 1.5GiB 给 8K KV,总共 9.87GiB,刚好压在 10.0GiB 线下。这是 12GB 卡上「最大可用模型」的典型形态:能全显存跑,但上下文只有 8K。
Q5 权重 9.79GiB,加 2K KV 就 10.17GiB,已经越线;就算把 KV 压到 q8_0,4K 也只有 0.375GiB,总需求 10.17GiB,仍然贴着上限。实际体验是「加载成功,稍微长一点的对话就开始卡」。
Q8 不用考虑。14.62GiB 的权重超过整卡容量,连加载都要靠 mmap 从内存读。
14B Q4 配 8K,适合的是「一次贴一篇长文、问几个问题」的场景,不适合把整份代码库塞进去。RAG 场景要算上检索回来的段落,8K 实际只能放五六段;超过这个量,要么接受溢出,要么换更小的模型。
32B:任何档位都不行
32B Q4_K_M 是 18.5GiB,比整张卡的 11.18GiB 还多 7GiB 以上。Q3_K_M 是 15.9GB,Q2_K 是 12.3GB,都在容量线之上。换句话说,32B 在 12GB 上不存在「选对量化就能跑」的选项。
llama.cpp 可以用 -ngl 把一部分层放 CPU,让 32B「跑起来」。但这时它已经不是 GPU 推理,而是「GPU 加速的 CPU 推理」,速度由内存带宽决定。能不能接受,取决于你是要一个能出结果的离线任务,还是要一个能对话的服务。
还有一条常被忽略的路:把 32B 拆成两段跑。前半段做摘要,后半段做回答,每段用 14B。这样做出来的效果和直接跑 32B 不一样,但在 12GB 上是唯一不需要忍受个位数 tok/s 的方案。
27B 级模型同样越线。Qwen3.8-27B 的 Q4_K_M 权重约 15.3GiB,12GB 上放不下,24GB 卡的实测边界也说明这一档需要 24GB 起步。12GB 和 27B 之间没有「选对量化就能跑」的交集。
什么时候开始 offload,速度掉多少
把上面的账整理成阈值,就是这张卡的真实分界线:
| 档位 | 开始 offload 的条件 | 表现 |
|---|---|---|
| 7B Q4/Q5 | 上下文超过 64K | 轻微,仍可用 |
| 7B Q8 | 上下文超过 32K | 中等,能感知 |
| 13B Q4 | 上下文超过 3K | 明显,掉到 CPU 档 |
| 13B Q5 | 任何上下文 | 全程 CPU |
| 14B Q4 | 上下文超过 8K | 明显,掉到 CPU 档 |
| 14B Q5 | 任何上下文 | 全程 CPU |
| 32B 全档 | 任何上下文 | 一个数量级 |
机制不复杂。llama.cpp 的 -ngl 99 要求所有层都进显存,显存不够时有两种结局:Windows 驱动把超出部分放进「共享 GPU 内存」,也就是系统内存,程序不报错但每个 token 都要过 PCIe;Linux 的 Level Zero 或 Vulkan 分配器通常直接返回失败。
速度差距来自带宽比。B580 的显存带宽是 456 GB/s,DDR5-5600 双通道是 89.6 GB/s,相差约 5 倍。全 offload 时还要叠加 CPU 的算力瓶颈,实际差距通常是一个数量级,不是 5 倍。
部分 offload 的衰减可以按比例粗估。放一小部分层到 CPU,等效带宽就会被 DDR5 拉低,速度掉到原来的几分之一;放一半,速度接近 CPU 档;全放,就是一个数量级的差距。这个估算假设每层计算量相同,MoE 模型会有偏差。
Vulkan 后端对「部分 offload」的容忍度比 SYCL 低。社区里有不少「-ngl 40 崩溃、-ngl 99 正常」的报告,官方文档没有承诺分层 offload 一定稳定。要用部分 offload,先从整数层数试起,一次调 2–4 层,别一次砍一半。
一个可验证的推算:同一张 B580、同一套 Vulkan 后端,7B Q4 实测约 62 tok/s(4.68GB 文件),按带宽反比推到 14B Q4(8.99GB),大约 32 tok/s。这是推算不是实测,但量级和社区报告一致;一旦有层落到 CPU,这个数字会立刻掉到十几甚至个位数。
把上下文买回来的四个手段
第一个是 KV cache 量化。--cache-type-k q8_0 --cache-type-v q8_0 把 KV 从 fp16 压到 8bit,容量直接减半。代价是需要 Flash-Attention 支持:llama.cpp 的 SYCL 后端到 2026.03 才加上 FA,Vulkan 后端也要 FA 打开,老版本会直接拒绝这个参数。
第二个是 Flash-Attention 本身。-fa on 不只是省显存,长上下文下的 prefill 也更快。SYCL 在 2026.03 之后默认开启,Vulkan 需要显式打开;不开 FA 时,KV 量化通常不生效。
第三个是换更小的量化。Q4_K_S 比 Q4_K_M 小 0.4GB 左右,IQ4_XS 再小一点。省下来的空间刚好够把 8K 抬到 12K,但质量会有可见下降,属于最后手段。
第四个是显式限上下文。-c 8192 比让运行时自己猜更安全;很多「随机 OOM」其实是默认上下文开得太大。把 -c 设成你能接受的值,比事后调 -ngl 更有效。
这四个手段有优先级。先限上下文,再开 FA,再压 KV,最后才降量化。量化的质量损失是不可逆的,前三个只是换取空间的方式;顺序反了,会为了省 1GB 显存把模型压坏。
命令:一次把参数固定下来
Linux 上跑 14B Q4、8K 上下文、KV 量化:
llama-server -m qwen2.5-14b-instruct-q4_k_m.gguf \
-ngl 99 -c 8192 -fa on \
--cache-type-k q8_0 --cache-type-v q8_0 \
--host 127.0.0.1 --port 8080
Windows 上参数相同,只是可执行文件换成 llama-server.exe。如果用的是预编译包,先按预编译包与自编译的选择确认包里有 Vulkan 或 SYCL 后端,纯 CPU 包不会有 -ngl 效果。
想知道自己的卡在哪一档,跑一条 offload 曲线最直接:
llama-bench -m qwen2.5-14b-instruct-q4_k_m.gguf -p 512 -n 128 -ngl 99,28,20,10,0 -fa on
-ngl 后面跟多个值,llama-bench 会依次测「全部上 GPU、28 层、20 层、10 层、全 CPU」。曲线在第几个点开始陡降,那就是这张卡的真实边界。
跑之前把浏览器和播放器关掉。它们占的显存不多,但会让本来刚好卡线的 14B Q4 溢出,测出来的曲线比实际差一档。
如果只想回答「我的卡能不能跑 14B Q4 加 8K」,不需要跑完整曲线,看一次加载日志的 KV self size 和 buffer size 相加,和 10.0GiB 比一下就有答案。
怎么验证自己有没有溢出
看加载日志的三行。llm_load_tensors: buffer size 应该接近 GGUF 文件大小;KV self size 是你实际付出的上下文成本;offloaded N/M layers to GPU 里的 N 如果小于 M,就说明没有全上 GPU。
Windows 上再开任务管理器,看「共享 GPU 内存」有没有在生成时上涨。上涨就是溢出,不管日志怎么写。
KV self size 这一行值得单独记下来。它是你为上下文付的真实成本,和本文表格里的数字对得上,就说明预算算对了;差很多,通常是模型用了滑动窗口注意力,实际只保留一部分 KV。
最后一个反直觉的点:显存够不等于速度快。14B Q4 在 12GB 上跑 8K 上下文,剩余显存只有几百 MB,驱动会频繁做分配和回收,速度可能比 4K 时低两成。留 0.5GiB 余量,比把上下文榨到极限更实用。
登录后可点赞、收藏与反馈。