个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 llama.cpp SYCL 与 Vulkan 文档、讨论区实测、Intel ARK 规格

Intel 显卡跑 AI 为什么慢:三个瓶颈都不在算力

Arc B580 标称算力比 RTX 5060 Ti 更高,实测生成却差一截。把推理拆成 prefill 与 decode 两段能看出:影响最大的是量化格式的 kernel 覆盖,其次是算子调度,带宽利用率只占最后一小段。附三步定位法。

2026年11月18日 13 小时前 作者 站长 约 11 分钟 4 阅读

按标称值,Arc B580 的 INT8 算力是 233 TOPS,RTX 5060 Ti 16G 是 189.8 TOPS。前者更高。

但同一个 7B 模型、同一档量化,B580 的生成速度落在 70–84 t/s,5060 Ti 是 91 t/s。

两家的 TOPS 口径不一致(是否含稀疏、INT4 是否按两倍计),不能直接相减。量级上的结论仍然成立:Arc 跑 AI 慢,慢的环节不在乘加单元。

下面把"慢"拆成三段可测量的东西,并给出逐段定位的方法。

三个瓶颈按影响排序:量化格式的 kernel 覆盖(最多 3 倍)、prefill 的算子与调度(约 2 倍)、显存带宽利用率(10%–25%)。

先分清是 prefill 慢还是 decode 慢

推理分两段。prefill 把输入一次性算完,是矩阵乘矩阵,吃算力;decode 一次出一个 token,是矩阵乘向量,吃带宽。

llama.cpp 的 llama-bench 把这两段记作 pp 和 tg。pp 决定首字延迟,tg 决定你看着字往外蹦的速度。

两段可以差出完全不同的比例,所以"Arc 慢"必须先问是哪一段。

下表是同一份测试:Llama 2 7B、Q4_0、3.56 GiB 权重、tg128 与 pp512。

卡后端tg128 (t/s)pp512 (t/s)带宽tg ÷ 带宽上限
Arc B580 12GSYCL83.671954456 GB/s70%
Arc B580 12GVulkan70.14621456 GB/s59%
RTX 3060 12GCUDA75.62138360 GB/s80%
RTX 5060 Ti 16GCUDA90.93737448 GB/s78%

B580 的 SYCL 数据来自 llama.cpp 讨论区 #23313(2026 年 6 月 14 日)。

Vulkan 与 CUDA 三行来自社区 Vulkan/CUDA 榜单(#10879 等提交)。不同提交者的构建与主机不同,所以这张表当排名看,别当精确差值看。

"tg ÷ 带宽上限"是我自己算的:3.56 GiB 权重约 3.82 GB,带宽除一下得到"每 token 读一遍权重"的理论上限,再拿实测 tg 去除。

真实利用率只会更低,因为 KV cache 还要读。这个比值可以横比不同卡的搬运效率,且不依赖两家对算力的不同口径。

三个读法。

第一,tg 差距很小。83.67 对 90.9,差 8%,属于同一档。日常聊天、代码补全这类以 decode 为主的场景,B580 不慢。

第二,pp 差距很大。1954 对 3737,差一半。长文档、RAG、整段代码丢进去让它改,体感差异都落在这一段。

第三,Vulkan 和 SYCL 是两个世界。同一张卡、同一个模型,pp 从 621 到 1954,差 3.1 倍。而 Ollama 和 LM Studio 在 Arc 上走的正是 Vulkan。

"Intel 显卡跑 AI 慢"这句话,有一半是在说"你脚下这条路慢"。

pp 的差距比 tg 大,这件事本身有解释力。decode 是 GEMV,瓶颈纯在带宽,访存写得不太离谱就能摸到上限附近。

prefill 是 GEMM,要把权重分块塞进片上存储、按矩阵指令的粒度重排、把 K 维切到合适大小。kernel 质量差一点,吞吐就差一截。

换句话说,tg 测的是搬运,pp 测的是工程。搬运靠硬件,工程靠人。任何非 CUDA 后端都会在 pp 上先露怯。

瓶颈一:量化格式的 kernel 覆盖

SYCL 后端的矩阵乘是手写 kernel,一种量化格式一套。哪套写得早、调得细,哪套就快。

时间线可以查。2025.2 版本优化了 Q4_0 的 MUL_MAT。

官方数字是 Arc A770 从 42 到 55 t/s(+30%),Flex 170 为 +28%,PVC 1550 为 +87%。同一次更新里没有 K-quants。

K-quants(Q4_K、Q5_K、Q6_K)的对应优化,一直到 2026.04–05 才进。

官方更新记录的原话是"用 reorder 特性优化 Q4_K、Q5_K、Q6_K、Q8_0 的 mul_mat"。

在这之前,社区文档写得很直白:legacy 量化(Q4_0、Q5_0、Q8_0)比 K-quants 快,因为前者有优化过的 MUL_MAT kernel,后者没有。

A770 上 Q4_0 约 55 t/s,Q4_K_M 只有 16–20 t/s,差近 3 倍。

差的是权重在显存里的排布。K-quant 的块结构带多组 scale 与 min,按原始布局读,相邻线程取到的地址不连续。

合并访问(coalesced access)失效,带宽利用率直接腰斩。

reorder 做的事,是把 scale 和权重拆开存放,让每个线程读到一段连续内存。

更能说明问题的是 Q8_0。它的块是 34 字节,不是 2 的幂,非合并访问的代价更明显。

有人在 Arc Pro B70(32 GB、608 GB/s)上测到 Q8_0 只有 4.88 t/s,折算带宽利用率 21%,而 Q4_K_M 有 20.56 t/s。

根因是缓冲区初始化时漏给 Q8_0 张量一个结构体,reorder 标志被静默关掉。补上之后 15.24 t/s,利用率 66%。

一行标志,3.1 倍。这类缺陷不报错、不崩溃,只慢。

这也解释了为什么社区建议"在 Arc 上优先用 Q4_0 和 Q8_0"。不是因为格式更先进,而是 kernel 被反复打磨过。

取舍是这样的:Q4_0 最快、质量最差;Q8_0 质量最好,显存装得下就是首选;Q4_K_M 夹在中间。

在优化补齐之前,Q4_K_M 的速度可能只有 Q4_0 的三分之一。显存够的话,Q8_0 是被低估的选项。

所以第一个动作不是换卡,是换量化:同一模型,Q4_0 和 Q4_K_M 各跑一遍。

版本也要对齐。2026 年 10 月那一轮 Battlemage 权重重排,PR #29809 在 10 月 10 日至 16 日的构建里造成 Q4_0/Q8_0 的 prefill 回退。

10 月 17 日的 #30374 才修。那几天编出来的包,decode 正常、prompt 处理变慢,很容易被误判成硬件退化。

瓶颈二:带宽利用率

B580 是 192-bit GDDR6、19 Gbps、456 GB/s。RTX 3060 是 360 GB/s,纸面差 27%。

实测 tg 只高 11%(83.67 对 75.6)。折算利用率,B580 是 70%,3060 是 80%。

丢掉的那 10 个百分点有三个来源。

顺带说一句:456 GB/s 是理论峰值,不含刷新与仲裁开销。能跑到七成,在消费级卡上已经算正常水位。

一是权重之外还有 KV cache。Llama 2 7B 是 MHA、32 层、每层 4096 维,K 与 V 各存一份 f16。

按这个配置,每 token 的 KV 约 0.5 MB。8K 上下文就是 4 GB 量级,比权重本身还大。

这也是 llama-bench 短上下文成绩偏乐观的原因:tg128 只读很少的 KV,真实长对话里带宽要分一部分给 cache。

能压缩的只有 cache。llama-bench 和 llama-server 都支持 -ctk q8_0 -ctv q8_0,把 KV 从 f16 降到 8 位,体积减半。

代价是极长上下文下的精度略降。这一步对 8K 以上对话的收益,通常比换量化格式更直接。

二是 decode 的并行度天然低。每个 token 只有一次 GEMV,能并行的维度有限,要靠 batch 内拼请求来填满。

llama-bench 默认 batch 1,测的是最坏情况。

三是数据从哪来。B580 是 PCIe 4.0 x8。权重常驻显存时不走 PCIe。

一旦显存不够、层被卸载到内存,每层每 token 都要来回搬,tg 会直接掉到个位数。

最后这条是最高频的误判:用户说"Arc 慢",实际是"模型没全进显存"。

判断方法很土但有效:看日志里 llm_load_tensors 的 buffer_size,跟显存总量比。差得远就是卸载了。

瓶颈三:算子覆盖与调度

pp 的差距出在这里。大矩阵乘本该吃满 XMX(Xe Matrix Extensions,对应 NVIDIA 的 Tensor Core)。

实测只有对面一半,说明有东西没走到 XMX 上。

漏点一,算子回退。SYCL 后端并非所有 op 都有 GPU 实现,缺的回落到 CPU。

回退不报错,但一次 CPU 参与就把整条流水线拖住。SYCL 文档里写着 split-mode 的 row 模式不支持,只支持 none 与 layer。

漏点二,库分派选错实现。2026 年 10 月有个干净案例。

oneDNN 3.15 之后,UHD 770 核显的 pp512 掉到 3.12 t/s,因为 oneDNN 静默选了参考实现,性能不到峰值 1%。

修完是 264.89 t/s。同期独立 Arc 卡没有变化,说明是分派逻辑而非硬件。

漏点三,调度开销没压掉。SYCL Graph 是减少 kernel 启动开销的机制。

llama.cpp 的 SYCL 后端默认关掉它,文档给的理由是"图模式的性能还没有超过非图模式"。

这句话本身就是证据:在 Arc 上,每次 kernel 启动的固定成本仍占不小比例。

还有一个时间因素。Flash Attention 是 2026.03 才进 SYCL 后端的。

此前长上下文只能用未融合的 attention,KV 读取与 softmax 分几趟走,4K 以上衰减明显。

多卡的情况更受限。SYCL 只支持 --split-mode layer,row 模式至今没有实现。

layer 切分是按层流水,卡与卡之间每一步都要同步。层数越少、卡越多,同步占比越高。

所以 Arc 多卡做推理时 pp 上不去:并行度加在同步上,不等于吞吐翻倍。

这三条的共同点是:都不会让程序出错,只会让数字难看。所以必须靠测试分离,不能靠猜。

三条叠起来,就是前面那组数据里 SYCL 比 Vulkan 高 19% tg、3.1 倍 pp 的来源。

自己的机器差得比这更多,才值得往下查。

用 llama-bench 三步定位

别凭体感。三步就能把上面三条分开。

第一步,建基线。同一模型跑 pp 与 tg,记下 build 号。

# Linux,SYCL 后端
./build/bin/llama-bench -m Llama-2-7b.Q4_0.gguf -p 512 -n 128 -r 5 -ngl 99 -mmp 0 -o csv
# Windows,解压 SYCL 预编译包后
.\llama-bench.exe -m Llama-2-7b.Q4_0.gguf -p 512 -n 128 -r 5 -ngl 99 -mmp 0 -o csv

-mmp 0 不是可选项。llama-bench 官方说明写着:SYCL 后端在某些情况下会挂起,需要关掉 mmap。

第二步,换量化。同一模型准备 Q4_0、Q4_K_M、Q8_0 三份,其余参数不动。

./build/bin/llama-bench \
  -m Llama-2-7b.Q4_0.gguf \
  -m Llama-2-7b.Q4_K_M.gguf \
  -m Llama-2-7b.Q8_0.gguf \
  -p 512 -n 128 -r 5 -ngl 99 -mmp 0

第三步,扫 batch 与 flash attention。pp 随 batch 涨不上去,是 kernel 没吃满。

-fa 1 在长上下文明显改善,是 attention 路径问题。

./build/bin/llama-bench -m model.Q4_K_M.gguf -p 4096 -n 0 -b 128,256,512 -ub 128,256 -r 3 -mmp 0
./build/bin/llama-bench -m model.Q4_K_M.gguf -p 4096 -n 128 -fa 0,1 -r 3 -mmp 0

判读对照:

现象指向下一步
Q4_0 比 Q4_K_M 快 2–3 倍K-quant kernel 缺 reorder升到 2026.04 之后的构建,或暂用 Q4_0/Q8_0
tg 正常,pp 只有对面一半GEMM 未吃满 XMX查 build 号与 oneDNN 版本,扫 -b/-ub
-ngl 从 99 降到 30 后 tg 断崖层被卸载,走 PCIe 与内存换小模型或低量化,调参救不回来
4K 以上骤降,-fa 1 明显改善attention 未融合用 2026.03 之后的构建并开 -fa
Vulkan 比 SYCL 快SYCL 侧回退或分派错开 GGML_SYCL_DEBUG=1 看日志里的回退

GGML_SYCL_DEBUG=1 会把每个 op 落到哪个设备打出来,回退到 CPU 的 op 一眼可见。

同一张卡,两条路的对照实验

要判断"慢"是不是路径问题,最干净的做法是用同一份源码编两个 build,其他条件全不动。

# Vulkan 版
cmake -B build-vk -DGGML_VULKAN=ON
# SYCL 版
source /opt/intel/oneapi/setvars.sh
cmake -B build-sycl -DGGML_SYCL=ON -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx

模型、量化、-p、-n、-ngl 全部一致,各跑一遍。两个结果的差值就是后端差值。

建议记三个数:tg128、pp512、pp4096。前两个看稳态,第三个看长上下文,很多差异只在 4K 以上才现身。

csv 按 build 号存好。下次升级只跑同一条命令,就能分清是版本变了还是环境变了。

这比拿网上不同人的数字对比可靠得多,因为硬件、模型、量化都被固定住了。

Windows 用户有个便利:官方发布的 SYCL 预编译包里已带 SYCL 运行库和依赖 DLL,不需要装 oneAPI。

Linux 的 Ubuntu 24.04 包则相反,要求机器上预装同版本 oneAPI,否则会卡在 libsycl.so 找不到。

Ollama 与 LM Studio 拿不到 SYCL 那部分收益。它们在 Arc 上内置的是 Vulkan 后端,换 flag 也切不过去。

想吃 SYCL 的性能,只能直接跑 llama.cpp 的二进制或容器。

怎么确认,以及哪些慢不在这三条里

有些"慢"跟上面无关,先排掉再谈优化。

驱动出问题通常表现为崩溃、花屏、掉卡、整段回落到 CPU,而不是稳定地慢 20%。稳定偏慢更像 kernel 与量化格式的问题。

Windows 上还有一层 WDDM。显存不足时驱动会把数据换出到系统内存,任务管理器看着显存没满,实际已经在换页。

核显是另一回事。iGPU 与系统内存共享带宽,模型一大就互相挤。

SYCL 文档给的门槛是少于 80 个 EU 的核显不适合实际使用。

模型本身太大也会伪装成"卡慢"。32B 的 Q4 约 18 GB,塞进 12 GB 卡必然卸载,tg 掉到个位数是必然结果。

还有一种少见但好排的:PCIe 链路没协商到位。B580 是 4.0 x8,插在 Gen3 或 x1 的槽上,权重加载与卸载都会变慢。

排掉这些,再走下面的自查。

跑一次 llama-bench -p 512 -n 128,把 tg 除以"带宽 ÷ 权重 GB 数"。

落在 65% 以上,带宽这一环没问题,往量化与算子方向查;落在 50% 以下,先确认模型是否全在显存里。

再看 pp 与对面同档卡的比值。低于 0.6,是算子与调度;在 0.8 以上,只是这一代产品的正常水平。

最后把 Q4_0 与 Q4_K_M 各跑一遍。差出 2 倍以上,就是 kernel 覆盖问题,换格式或换构建,比换卡便宜得多。

顺带说一句决策:如果 tg 已经在带宽上限的 70% 以上、pp 差的是 2 倍,那这 2 倍属于"这一代软件的现状",不是配置错了。

为了它换卡,等于用一倍的钱买一段等待时间。值不值,取决于你每天跑多少次长 prompt。

短 prompt、连续对话的场景,pp 占总时间不到一成,换卡几乎换不来体感。

这一套跑下来十分钟左右,比翻经验帖省事得多。

显存账要先算清,别在错误的容量上做优化。可对照本地跑大模型要多少显存那张表核对自己的档位。

如果不想自己编 SYCL,llama.cpp 的 Windows 预编译包里已带运行库,解压即用。

Ollama 在 Arc 上走的是 Vulkan 路径,和 SYCL 不是一套 kernel。

这一点在Ollama 的服务与客户端分层里提到过,换了客户端也换不掉后端。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →