Intel Arc 能跑 AI 吗:六类负载能跑,四类还是别想
把 Arc 的十类 AI 负载逐类拆开:LLM、出图、语音、多模态、Embedding 能跑,视频生成、微调、训练和 32B 要降级或换卡。每个判断都对应到具体项目的官方支持列表与 12GB 显存边界。
Arc 能不能跑 AI,这个问题在 2026 年有了一个更窄、但更确定的答案。2026 年 1 月 28 日 Intel 把 IPEX-LLM 仓库归档,2026 年 6 月 Ollama 0.30 默认启用 Vulkan 后端,两条消息一负一正,把 Arc 的可用路线压成了三条:llama.cpp 的 Vulkan、llama.cpp 的 SYCL,以及 PyTorch XPU 之上的 vLLM、SGLang、ComfyUI。
路线变少不全是坏事。IPEX-LLM 时代那些带 Xe 专属 INT4 kernel 的转换脚本、专用 wheel、定制 Ollama 分支,全部停止更新;留下的是上游项目里的通用后端。通用后端的算子覆盖不如专用栈深,但模型支持的更新速度跟得上社区,不会出现「新模型发布了三个月、Arc 还没法加载」的局面。
判断一类负载能不能跑,只看三件事:项目的官方支持列表里有没有这张卡,显存能不能同时装下权重和 KV cache(键值缓存),算子覆盖够不够、会不会 fallback 到 CPU。三件事缺一件,结果都是「服务能起来,但没法用」。
按这个标准,十类常见负载里六类能跑,四类要么降级要么换卡。下面逐类给依据,也给 12GB 显存上的实际边界。
按负载分类,而不是按「Arc 行不行」一句话概括,原因是同一张卡在不同负载上的短板完全不同。跑 LLM 缺的是带宽,出图缺的是显存,微调缺的是训练框架,视频生成缺的是算子。短板不同,结论就不能通用。
十类负载的边界
| 负载 | 判断 | 依据(哪个项目的官方列表) | 12GB 上的实际边界 |
|---|---|---|---|
| 文本 LLM 推理(7B–14B) | 能跑 | llama.cpp SYCL 文档的「已验证设备」表列有 A770/A750/A730M、B580 与三代 Core Ultra 核显 | 14B Q4 约 9GB 权重,只够 8K 上下文 |
| 代码补全(FIM,7B 级) | 能跑 | 同上;Ollama 硬件文档写明 Vulkan 覆盖 Windows/Linux 的额外 GPU | 7B Q4 权重 4.7GB,可留 32K |
| 图像生成(SDXL、Flux Schnell) | 能跑 | ComfyUI 安装文档把 Arc A/B 与 Core Ultra 列入 XPU 路径;AI Playground 3 要求 Arc 独显 8GB 以上 | SDXL 1024 稳定;Flux.1 dev 的 bf16 约 24GB,只能量化 |
| 语音转写(Whisper) | 能跑 | whisper.cpp 通过 ggml 的 Vulkan 后端支持 Intel 显卡,编译开关 -DGGML_VULKAN=ON | large-v3 权重 3.1GB,显存不是瓶颈 |
| 多模态图像理解(8B 级 VLM) | 能跑 | AI Playground 3 把 Qwen3 VL 列入本地模型;llama.cpp 用 mmproj 挂视觉塔 | 8B Q4 加视觉塔约 6–7GB,图多时 prefill 慢 |
| Embedding / 重排(RAG) | 能跑 | llama.cpp 的 embedding 模式、OpenVINO 都有 GPU 路径 | 1GB 以内,注意和主模型抢显存 |
| 视频生成(Wan、LTX) | 勉强 | AI Playground 明确写「最好在独显或高内存 Core Ultra 上」;SGLang Diffusion 有 XPU 入口 | 5B 级 480p 短片可行,14B 级不行 |
| LoRA / QLoRA 微调 | 勉强 | bitsandbytes 加速器表把 Arc A/B 的 XPU 列为 QLoRA 4-bit 支持 | 7B 可试,14B 没有余量 |
| 全参数微调 / 预训练 | 不能 | 没有任何 Intel 官方支持列表覆盖消费级 Arc | 12GB 连 7B 全参都差一个数量级 |
| 32B 级模型常驻 | 不能 | llama.cpp 能加载,但 32B Q4 权重 18.5GiB 已超过 12GB | 必然 offload,速度掉到 CPU 档 |
依据只有三样,别自己加戏
支持列表是最硬的一条。llama.cpp 的 SYCL 文档有一张已验证设备表,覆盖 Arc A 系列、B580、Meteor Lake / Arrow Lake / Lunar Lake 的核显,最近一次推荐版本 b5377(2025-05-15)验证的是 B580 与 Lunar Lake。这张表就是 SYCL 路线的准入证,不在表里的卡只能自己试。
Vulkan 没有设备白名单,但 Ollama 的硬件文档写明 Vulkan 提供 Windows 与 Linux 上的额外 GPU 支持,Arc 走的就是这条。ComfyUI 的安装文档更直接:Arc A 系列、B 系列和带 Arc 核显的 Core Ultra,用 PyTorch 原生 XPU 后端,不要装 CUDA wheel。
反面例子更能说明问题。SGLang 的 XPU 页面只列了三个优化模型:Llama-3.2-3B、Llama-3.1-8B、Qwen2.5-1.5B,验证平台是 B580。vLLM 的 XPU 文档只承诺「initial support」,并且强制 Python 3.12。都是「支持 Arc」,能覆盖的模型数量差了两个数量级。
这个差距不是能力问题,是测试成本问题。llama.cpp 只要 GGUF 能加载,后端算子齐全就能跑;vLLM 和 SGLang 要为每个模型写 attention backend、调度策略、KV 布局,没测过的模型直接不支持。要 serving 语义就得接受这张短名单。
显存账要用统一口径:GGUF 文件大小、KV cache、运行时和桌面占用,三项相加。只算权重是新手最容易犯的错,14B 的权重看着只有 9GB,32K 上下文的 KV 还要再吃 6GB。具体分档可以照显存估算表把权重和 KV 分开算,不要用一个总数拍脑袋。
KV cache 的成本由架构决定,不由参数量决定。Qwen2.5-14B 是 48 层、8 个 KV 头、head_dim 128,fp16 下每 token 约 192KiB;Llama-2-13B 是 40 层、40 个 KV 头,每 token 约 800KiB。13B 比 14B 参数少,KV 却贵四倍,老模型在长上下文场景反而更吃亏。
算子覆盖最隐蔽。Vulkan/SYCL 后端不是每个算子都有 kernel,缺的那个会回落到 CPU,日志里能看到。典型表现是 prefill 突然变慢、decode 正常,很多人误判成「模型太大」,其实是某个算子没被覆盖。
还有一个隐藏变量是驱动。Intel 的 Arc 驱动在 2026 年仍是每月一版,Vulkan 后端的表现会随驱动变化;同一个模型在同一份 llama.cpp 上,换驱动版本就可能跑出不同的 tok/s。看到「升级驱动后变快/变慢」的帖子,先确认版本再下结论,不要把它当成后端本身的优劣。
2026 年补上的两个关键算子值得记一下。SYCL 后端到 2026.03 才支持 Flash-Attention,在此之前长上下文要么慢、要么吃满显存;2026.04–05 才把 Q4_K、Q5_K、Q6_K、Q8_0 的 mul_mat 用 reorder 优化,并补上 fused MoE。这两个时间点之前写的教程,结论基本作废。
能跑的六类:共同点是单机、单请求、7B–14B
文本与代码
文本推理是唯一一条三条路线都通的负载。SYCL 要装 oneAPI,Vulkan 不用;Ollama 0.30 起 Vulkan 默认开启,装完驱动就能用。Reddit r/IntelArc 上有用户在 B580 上用 llama.cpp Vulkan 跑 Qwen2.5-7B-Instruct,Q4_K 约 62 tok/s、Q8_0 约 35 tok/s(2025 年初,单条测试,非标准基准)。这组数字的意义不是绝对值,而是说明 7B 在这一档卡上已经进入「聊天不等待」的区间。
同一个用户在同一张卡上换成 SYCL 后端,速度大约只有 Vulkan 的一半。这个结果和「SYCL 有 XMX」的直觉相反,原因可能是当时 SYCL 的 kernel 还没针对 Battlemage 调好。另一个方向的数据也存在:A770 上用 OpenVINO INT4 跑 Qwen3-8B 比 llama.cpp SYCL 的 Q4_K_M 快一倍以上(arc-inference-bench,2026 年 3 月,A770 16GB)。后端选择没有通解,只能在自己的模型上测。
代码补全本质是同一件事,只是上下文结构不同。7B Q4 权重 4.7GB,剩下的显存足够放 32K 的 KV,FIM 场景的收益比换更大的模型更明显。把 14B 塞进来换来的是 8K 上下文,对补全这种「前后各几千 token」的负载反而更差。
图像、语音、多模态
图像生成是 Arc 最像「正经生产力」的一类。ComfyUI 的安装文档写明了 XPU 路径,SDXL 在 12GB 上跑 1024×1024 不需要任何技巧。Intel 自己的 AI Playground 3 也把门槛写成「Arc 独显 8GB 以上」,模型列表覆盖 SDXL、Flux.1-Schnell、Flux.2 Klein、Z-Image。
Flux.1 dev 是另一回事:12B 参数,bf16 权重约 24GB,12GB 只能走 fp8 或 GGUF 量化,属于要试的边界而不是默认路径。ComfyUI 的自定义节点里还有一批依赖 triton 或 CUDA 算子的加速节点,在 XPU 上装得上、跑不了,报错通常出现在节点执行阶段而不是启动阶段。
语音转写被低估。whisper.cpp 的 large-v3 权重 3.1GB,显存压力很小,Vulkan 后端在核显上也能跑。它的瓶颈在音频时长和模型档位,不在显卡;半小时的会议录音用 large-v3-turbo 和 large-v3 的差距,比换一张显卡大得多。
这条负载还有一个好处:它是批处理,不是交互。转写一整段录音时,慢一倍只是多等几分钟,不像聊天那样破坏体验。所以它是核显和入门 Arc 最值得先试的 AI 负载。
多模态和 Embedding 都能跑,但定位不同。Qwen3 VL 这类 8B 级模型在 AI Playground 里是官方支持的聊天模型,挂上视觉塔之后显存约 6–7GB;图片一多,prefill 会明显变慢,因为一张 1024×1024 的图能产生上千个视觉 token,比一段文字贵得多。
Embedding 模型通常 1GB 以内,适合和主模型共卡,但要预留出这部分显存。RAG 的实际负载是「embedding 一批、生成一段」,两件事交替发生,共卡时显存峰值取两者之和,不是取最大值。低并发下这样最省,高并发下应该拆开。
四类要降级:不是不能启动,是不能按默认方式用
视频生成:5B 是分水岭
视频生成的第一道坎是参数量。Wan2.2 的 TI2V-5B 是能在 12GB 上跑 480p 短片的档位,14B 级模型在 12GB 上连权重都放不下。AI Playground 3 虽然列了 Wan 2.1/2.2 与 LTX,但硬件说明写得很清楚:视频「最好在独显或高内存 Core Ultra 上」。这句话的实际含义是「能演示,不适合当工作流」。
第二道坎是显存随帧数线性增长。图像是一张 latent,视频是几十张 latent 加时序注意力,5B 模型在 480p、49 帧时已经接近 12GB 的上限,再往上只能降分辨率或降帧数。第三道坎是 3D VAE 的解码峰值,它往往比去噪阶段更吃显存,报错也更容易出现在最后一步。
微调:QLoRA 能试,别当生产力
微调是「有路径、没生态」。bitsandbytes 的支持表把 Arc A/B 的 XPU 列进了 QLoRA 4-bit,Linux 和 Windows 11 都算支持;PyTorch XPU 文档也有训练示例。这条路径是真的能走通,不是纸面支持。
但 IPEX-LLM 归档之后,旧的微调教程全部失效,Unsloth 这类把显存压到极致的工具没有 XPU 路径。12GB 上能试的是 7B 的 QLoRA,要开梯度检查点、把序列长度压到 1024–2048、batch size 设为 1。14B 连优化器状态都放不下。
还有两个隐性成本。训练用的 flash-attention、xformers、bitsandbytes 8-bit 优化器在 XPU 上的成熟度都低于 CUDA,出错时社区可搜索的答案很少;训练中断后恢复、多卡并行这些工程能力,Arc 侧基本没有。
训练:没有官方路径
全参数微调和预训练没有讨论价值。7B 全参训练仅权重、梯度、优化器状态三项就超过 100GB,Arc 也没有多卡互联的训练方案。官方的多卡支持停在推理侧的 tensor parallel,vLLM XPU 和 SGLang XPU 都是这个范围。
把「能跑 backward」当成「能训练」是常见误判。PyTorch XPU 的 ResNet 训练示例跑得通,不代表 Transformer 的大 batch 训练能稳定跑几天;显存碎片、驱动复位、长时间满载的稳定性,都是另一套问题。
32B:不是「慢」,是「装不下」
32B 不是「慢」,是「装不下」。Qwen2.5-32B 的 Q4_K_M 是 19.9GB,Q8_0 是 34.8GB,连 Q2_K 都有 12.3GB,已经超过 12GB 卡的可用上限。llama.cpp 可以靠 -ngl 分层 offload 把它跑起来,但每生成一个 token 都要穿过 PCIe,速度落到 CPU 档。
真正能在 12GB 上跑 32B 的办法只有 MoE。总参数 30B、激活 3B 的模型,权重仍然要全部驻留,所以 12GB 还是不够;MoE 省的是算力,不是显存。这一点经常被混淆。
向下换量化也不是出路。32B 的 Q3_K_M 是 15.9GB,Q2_K 是 12.3GB,都已经越过 12GB 的可用线,而且 Q2 档位的质量损失在中文任务上非常明显。省下来的显存不够放 KV,模型本身也已经被压坏。
三条命令确认自己站在哪条路线上
Linux 上先确认设备能看见,再确认框架认不认:
# SYCL 路线需要 oneAPI,Vulkan 路线不需要
source /opt/intel/oneapi/setvars.sh
sycl-ls
# Vulkan 路线只需要驱动
vulkaninfo --summary | grep -i deviceName
# PyTorch XPU 路线
python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"
Windows 上对应的检查是 sycl-ls.exe 和 vulkaninfo.exe。PowerShell 里没有 vulkaninfo 时,装 LunarG 的 Vulkan SDK 就有;只想看设备的话,驱动自带的支持也够。
跑一次基准,比看任何评测都可靠:
llama-bench -m qwen2.5-7b-instruct-q4_k_m.gguf -p 512 -n 128 -ngl 99 -fa on
-ngl 99 表示全部层放 GPU。如果显存不够,Windows 会悄悄退到共享内存,命令不报错,tok/s 却掉到个位数;Linux 通常直接分配失败。两种表现指向同一个问题。
怎么验证自己有没有踩到边界
看三处日志就够了。加载时 llm_load_tensors: buffer_size 应该接近 GGUF 文件大小,差得多说明有层没上 GPU;启动行会打印实际使用的后端,Vulkan0 和 SYCL0 是两条不同的路;生成时如果 prefill 速度正常、decode 突然塌陷,多半是 KV 或共享内存,不是算子。
再对照一次支持列表。模型换了架构、后端刚升级、驱动刚更新,这三件事任何一件发生,都值得重跑一次 llama-bench。Arc 的软件栈仍在快速变化,去年的结论在今年经常不成立。
Ollama 和 LM Studio 这条路还要多一层注意:它们各自打包了一份 llama.cpp,版本由应用决定,不由你决定。所以「Ollama 能跑但 llama.cpp 不能跑」或者反过来,都是正常的版本差异;排查时先看应用内置的后端版本,再去上游对日志。
最后一条经验:先把 7B 跑顺,再考虑 14B。7B 在 Arc 上已经是「能用」的状态,14B 是「能用但要让步」的状态,32B 是「不该在这张卡上试」的状态。把这三档分清楚,比记住任何一张跑分表都有用。
如果手上只有核显,标准还要再降一档:7B Q4 是主线,14B 只适合离线批处理,语音转写和 Embedding 反而是性价比最高的两个用途。核显的带宽只有 B580 的四分之一左右,速度差距是结构性的,不是驱动能补上的。
登录后可点赞、收藏与反馈。