Intel 显卡跑 AI 为什么慢:三个瓶颈都不在算力
Arc B580 标称算力比 RTX 5060 Ti 更高,实测生成却差一截。把推理拆成 prefill 与 decode 两段能看出:影响最大的是量化格式的 kernel 覆盖,其次是算子调度,带宽利用率只占最后一小段。附三步定位法。
按标称值,Arc B580 的 INT8 算力是 233 TOPS,RTX 5060 Ti 16G 是 189.8 TOPS。前者更高。
但同一个 7B 模型、同一档量化,B580 的生成速度落在 70–84 t/s,5060 Ti 是 91 t/s。
两家的 TOPS 口径不一致(是否含稀疏、INT4 是否按两倍计),不能直接相减。量级上的结论仍然成立:Arc 跑 AI 慢,慢的环节不在乘加单元。
下面把"慢"拆成三段可测量的东西,并给出逐段定位的方法。
三个瓶颈按影响排序:量化格式的 kernel 覆盖(最多 3 倍)、prefill 的算子与调度(约 2 倍)、显存带宽利用率(10%–25%)。
先分清是 prefill 慢还是 decode 慢
推理分两段。prefill 把输入一次性算完,是矩阵乘矩阵,吃算力;decode 一次出一个 token,是矩阵乘向量,吃带宽。
llama.cpp 的 llama-bench 把这两段记作 pp 和 tg。pp 决定首字延迟,tg 决定你看着字往外蹦的速度。
两段可以差出完全不同的比例,所以"Arc 慢"必须先问是哪一段。
下表是同一份测试:Llama 2 7B、Q4_0、3.56 GiB 权重、tg128 与 pp512。
| 卡 | 后端 | tg128 (t/s) | pp512 (t/s) | 带宽 | tg ÷ 带宽上限 |
|---|---|---|---|---|---|
| Arc B580 12G | SYCL | 83.67 | 1954 | 456 GB/s | 70% |
| Arc B580 12G | Vulkan | 70.14 | 621 | 456 GB/s | 59% |
| RTX 3060 12G | CUDA | 75.6 | 2138 | 360 GB/s | 80% |
| RTX 5060 Ti 16G | CUDA | 90.9 | 3737 | 448 GB/s | 78% |
B580 的 SYCL 数据来自 llama.cpp 讨论区 #23313(2026 年 6 月 14 日)。
Vulkan 与 CUDA 三行来自社区 Vulkan/CUDA 榜单(#10879 等提交)。不同提交者的构建与主机不同,所以这张表当排名看,别当精确差值看。
"tg ÷ 带宽上限"是我自己算的:3.56 GiB 权重约 3.82 GB,带宽除一下得到"每 token 读一遍权重"的理论上限,再拿实测 tg 去除。
真实利用率只会更低,因为 KV cache 还要读。这个比值可以横比不同卡的搬运效率,且不依赖两家对算力的不同口径。
三个读法。
第一,tg 差距很小。83.67 对 90.9,差 8%,属于同一档。日常聊天、代码补全这类以 decode 为主的场景,B580 不慢。
第二,pp 差距很大。1954 对 3737,差一半。长文档、RAG、整段代码丢进去让它改,体感差异都落在这一段。
第三,Vulkan 和 SYCL 是两个世界。同一张卡、同一个模型,pp 从 621 到 1954,差 3.1 倍。而 Ollama 和 LM Studio 在 Arc 上走的正是 Vulkan。
"Intel 显卡跑 AI 慢"这句话,有一半是在说"你脚下这条路慢"。
pp 的差距比 tg 大,这件事本身有解释力。decode 是 GEMV,瓶颈纯在带宽,访存写得不太离谱就能摸到上限附近。
prefill 是 GEMM,要把权重分块塞进片上存储、按矩阵指令的粒度重排、把 K 维切到合适大小。kernel 质量差一点,吞吐就差一截。
换句话说,tg 测的是搬运,pp 测的是工程。搬运靠硬件,工程靠人。任何非 CUDA 后端都会在 pp 上先露怯。
瓶颈一:量化格式的 kernel 覆盖
SYCL 后端的矩阵乘是手写 kernel,一种量化格式一套。哪套写得早、调得细,哪套就快。
时间线可以查。2025.2 版本优化了 Q4_0 的 MUL_MAT。
官方数字是 Arc A770 从 42 到 55 t/s(+30%),Flex 170 为 +28%,PVC 1550 为 +87%。同一次更新里没有 K-quants。
K-quants(Q4_K、Q5_K、Q6_K)的对应优化,一直到 2026.04–05 才进。
官方更新记录的原话是"用 reorder 特性优化 Q4_K、Q5_K、Q6_K、Q8_0 的 mul_mat"。
在这之前,社区文档写得很直白:legacy 量化(Q4_0、Q5_0、Q8_0)比 K-quants 快,因为前者有优化过的 MUL_MAT kernel,后者没有。
A770 上 Q4_0 约 55 t/s,Q4_K_M 只有 16–20 t/s,差近 3 倍。
差的是权重在显存里的排布。K-quant 的块结构带多组 scale 与 min,按原始布局读,相邻线程取到的地址不连续。
合并访问(coalesced access)失效,带宽利用率直接腰斩。
reorder 做的事,是把 scale 和权重拆开存放,让每个线程读到一段连续内存。
更能说明问题的是 Q8_0。它的块是 34 字节,不是 2 的幂,非合并访问的代价更明显。
有人在 Arc Pro B70(32 GB、608 GB/s)上测到 Q8_0 只有 4.88 t/s,折算带宽利用率 21%,而 Q4_K_M 有 20.56 t/s。
根因是缓冲区初始化时漏给 Q8_0 张量一个结构体,reorder 标志被静默关掉。补上之后 15.24 t/s,利用率 66%。
一行标志,3.1 倍。这类缺陷不报错、不崩溃,只慢。
这也解释了为什么社区建议"在 Arc 上优先用 Q4_0 和 Q8_0"。不是因为格式更先进,而是 kernel 被反复打磨过。
取舍是这样的:Q4_0 最快、质量最差;Q8_0 质量最好,显存装得下就是首选;Q4_K_M 夹在中间。
在优化补齐之前,Q4_K_M 的速度可能只有 Q4_0 的三分之一。显存够的话,Q8_0 是被低估的选项。
所以第一个动作不是换卡,是换量化:同一模型,Q4_0 和 Q4_K_M 各跑一遍。
版本也要对齐。2026 年 10 月那一轮 Battlemage 权重重排,PR #29809 在 10 月 10 日至 16 日的构建里造成 Q4_0/Q8_0 的 prefill 回退。
10 月 17 日的 #30374 才修。那几天编出来的包,decode 正常、prompt 处理变慢,很容易被误判成硬件退化。
瓶颈二:带宽利用率
B580 是 192-bit GDDR6、19 Gbps、456 GB/s。RTX 3060 是 360 GB/s,纸面差 27%。
实测 tg 只高 11%(83.67 对 75.6)。折算利用率,B580 是 70%,3060 是 80%。
丢掉的那 10 个百分点有三个来源。
顺带说一句:456 GB/s 是理论峰值,不含刷新与仲裁开销。能跑到七成,在消费级卡上已经算正常水位。
一是权重之外还有 KV cache。Llama 2 7B 是 MHA、32 层、每层 4096 维,K 与 V 各存一份 f16。
按这个配置,每 token 的 KV 约 0.5 MB。8K 上下文就是 4 GB 量级,比权重本身还大。
这也是 llama-bench 短上下文成绩偏乐观的原因:tg128 只读很少的 KV,真实长对话里带宽要分一部分给 cache。
能压缩的只有 cache。llama-bench 和 llama-server 都支持 -ctk q8_0 -ctv q8_0,把 KV 从 f16 降到 8 位,体积减半。
代价是极长上下文下的精度略降。这一步对 8K 以上对话的收益,通常比换量化格式更直接。
二是 decode 的并行度天然低。每个 token 只有一次 GEMV,能并行的维度有限,要靠 batch 内拼请求来填满。
llama-bench 默认 batch 1,测的是最坏情况。
三是数据从哪来。B580 是 PCIe 4.0 x8。权重常驻显存时不走 PCIe。
一旦显存不够、层被卸载到内存,每层每 token 都要来回搬,tg 会直接掉到个位数。
最后这条是最高频的误判:用户说"Arc 慢",实际是"模型没全进显存"。
判断方法很土但有效:看日志里 llm_load_tensors 的 buffer_size,跟显存总量比。差得远就是卸载了。
瓶颈三:算子覆盖与调度
pp 的差距出在这里。大矩阵乘本该吃满 XMX(Xe Matrix Extensions,对应 NVIDIA 的 Tensor Core)。
实测只有对面一半,说明有东西没走到 XMX 上。
漏点一,算子回退。SYCL 后端并非所有 op 都有 GPU 实现,缺的回落到 CPU。
回退不报错,但一次 CPU 参与就把整条流水线拖住。SYCL 文档里写着 split-mode 的 row 模式不支持,只支持 none 与 layer。
漏点二,库分派选错实现。2026 年 10 月有个干净案例。
oneDNN 3.15 之后,UHD 770 核显的 pp512 掉到 3.12 t/s,因为 oneDNN 静默选了参考实现,性能不到峰值 1%。
修完是 264.89 t/s。同期独立 Arc 卡没有变化,说明是分派逻辑而非硬件。
漏点三,调度开销没压掉。SYCL Graph 是减少 kernel 启动开销的机制。
llama.cpp 的 SYCL 后端默认关掉它,文档给的理由是"图模式的性能还没有超过非图模式"。
这句话本身就是证据:在 Arc 上,每次 kernel 启动的固定成本仍占不小比例。
还有一个时间因素。Flash Attention 是 2026.03 才进 SYCL 后端的。
此前长上下文只能用未融合的 attention,KV 读取与 softmax 分几趟走,4K 以上衰减明显。
多卡的情况更受限。SYCL 只支持 --split-mode layer,row 模式至今没有实现。
layer 切分是按层流水,卡与卡之间每一步都要同步。层数越少、卡越多,同步占比越高。
所以 Arc 多卡做推理时 pp 上不去:并行度加在同步上,不等于吞吐翻倍。
这三条的共同点是:都不会让程序出错,只会让数字难看。所以必须靠测试分离,不能靠猜。
三条叠起来,就是前面那组数据里 SYCL 比 Vulkan 高 19% tg、3.1 倍 pp 的来源。
自己的机器差得比这更多,才值得往下查。
用 llama-bench 三步定位
别凭体感。三步就能把上面三条分开。
第一步,建基线。同一模型跑 pp 与 tg,记下 build 号。
# Linux,SYCL 后端
./build/bin/llama-bench -m Llama-2-7b.Q4_0.gguf -p 512 -n 128 -r 5 -ngl 99 -mmp 0 -o csv
# Windows,解压 SYCL 预编译包后
.\llama-bench.exe -m Llama-2-7b.Q4_0.gguf -p 512 -n 128 -r 5 -ngl 99 -mmp 0 -o csv
-mmp 0 不是可选项。llama-bench 官方说明写着:SYCL 后端在某些情况下会挂起,需要关掉 mmap。
第二步,换量化。同一模型准备 Q4_0、Q4_K_M、Q8_0 三份,其余参数不动。
./build/bin/llama-bench \
-m Llama-2-7b.Q4_0.gguf \
-m Llama-2-7b.Q4_K_M.gguf \
-m Llama-2-7b.Q8_0.gguf \
-p 512 -n 128 -r 5 -ngl 99 -mmp 0
第三步,扫 batch 与 flash attention。pp 随 batch 涨不上去,是 kernel 没吃满。
-fa 1 在长上下文明显改善,是 attention 路径问题。
./build/bin/llama-bench -m model.Q4_K_M.gguf -p 4096 -n 0 -b 128,256,512 -ub 128,256 -r 3 -mmp 0
./build/bin/llama-bench -m model.Q4_K_M.gguf -p 4096 -n 128 -fa 0,1 -r 3 -mmp 0
判读对照:
| 现象 | 指向 | 下一步 |
|---|---|---|
| Q4_0 比 Q4_K_M 快 2–3 倍 | K-quant kernel 缺 reorder | 升到 2026.04 之后的构建,或暂用 Q4_0/Q8_0 |
| tg 正常,pp 只有对面一半 | GEMM 未吃满 XMX | 查 build 号与 oneDNN 版本,扫 -b/-ub |
-ngl 从 99 降到 30 后 tg 断崖 | 层被卸载,走 PCIe 与内存 | 换小模型或低量化,调参救不回来 |
4K 以上骤降,-fa 1 明显改善 | attention 未融合 | 用 2026.03 之后的构建并开 -fa |
| Vulkan 比 SYCL 快 | SYCL 侧回退或分派错 | 开 GGML_SYCL_DEBUG=1 看日志里的回退 |
GGML_SYCL_DEBUG=1 会把每个 op 落到哪个设备打出来,回退到 CPU 的 op 一眼可见。
同一张卡,两条路的对照实验
要判断"慢"是不是路径问题,最干净的做法是用同一份源码编两个 build,其他条件全不动。
# Vulkan 版
cmake -B build-vk -DGGML_VULKAN=ON
# SYCL 版
source /opt/intel/oneapi/setvars.sh
cmake -B build-sycl -DGGML_SYCL=ON -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx
模型、量化、-p、-n、-ngl 全部一致,各跑一遍。两个结果的差值就是后端差值。
建议记三个数:tg128、pp512、pp4096。前两个看稳态,第三个看长上下文,很多差异只在 4K 以上才现身。
csv 按 build 号存好。下次升级只跑同一条命令,就能分清是版本变了还是环境变了。
这比拿网上不同人的数字对比可靠得多,因为硬件、模型、量化都被固定住了。
Windows 用户有个便利:官方发布的 SYCL 预编译包里已带 SYCL 运行库和依赖 DLL,不需要装 oneAPI。
Linux 的 Ubuntu 24.04 包则相反,要求机器上预装同版本 oneAPI,否则会卡在 libsycl.so 找不到。
Ollama 与 LM Studio 拿不到 SYCL 那部分收益。它们在 Arc 上内置的是 Vulkan 后端,换 flag 也切不过去。
想吃 SYCL 的性能,只能直接跑 llama.cpp 的二进制或容器。
怎么确认,以及哪些慢不在这三条里
有些"慢"跟上面无关,先排掉再谈优化。
驱动出问题通常表现为崩溃、花屏、掉卡、整段回落到 CPU,而不是稳定地慢 20%。稳定偏慢更像 kernel 与量化格式的问题。
Windows 上还有一层 WDDM。显存不足时驱动会把数据换出到系统内存,任务管理器看着显存没满,实际已经在换页。
核显是另一回事。iGPU 与系统内存共享带宽,模型一大就互相挤。
SYCL 文档给的门槛是少于 80 个 EU 的核显不适合实际使用。
模型本身太大也会伪装成"卡慢"。32B 的 Q4 约 18 GB,塞进 12 GB 卡必然卸载,tg 掉到个位数是必然结果。
还有一种少见但好排的:PCIe 链路没协商到位。B580 是 4.0 x8,插在 Gen3 或 x1 的槽上,权重加载与卸载都会变慢。
排掉这些,再走下面的自查。
跑一次 llama-bench -p 512 -n 128,把 tg 除以"带宽 ÷ 权重 GB 数"。
落在 65% 以上,带宽这一环没问题,往量化与算子方向查;落在 50% 以下,先确认模型是否全在显存里。
再看 pp 与对面同档卡的比值。低于 0.6,是算子与调度;在 0.8 以上,只是这一代产品的正常水平。
最后把 Q4_0 与 Q4_K_M 各跑一遍。差出 2 倍以上,就是 kernel 覆盖问题,换格式或换构建,比换卡便宜得多。
顺带说一句决策:如果 tg 已经在带宽上限的 70% 以上、pp 差的是 2 倍,那这 2 倍属于"这一代软件的现状",不是配置错了。
为了它换卡,等于用一倍的钱买一段等待时间。值不值,取决于你每天跑多少次长 prompt。
短 prompt、连续对话的场景,pp 占总时间不到一成,换卡几乎换不来体感。
这一套跑下来十分钟左右,比翻经验帖省事得多。
显存账要先算清,别在错误的容量上做优化。可对照本地跑大模型要多少显存那张表核对自己的档位。
如果不想自己编 SYCL,llama.cpp 的 Windows 预编译包里已带运行库,解压即用。
Ollama 在 Arc 上走的是 Vulkan 路径,和 SYCL 不是一套 kernel。
这一点在Ollama 的服务与客户端分层里提到过,换了客户端也换不掉后端。
登录后可点赞、收藏与反馈。