个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 反馈
资讯 人工智能 llama.cpp b12606 本机实测;Intel A770 规格页;IPEX-LLM 归档说明;llama.cpp v1.0.0 发布说明

Arc A770 跑本地大模型:IPEX-LLM 已归档,只剩 Vulkan 能开箱跑

Intel 在 2026 年 1 月归档了 IPEX-LLM,llm-scaler 又不支持 A770。本文在 A770 16G 上实测 llama.cpp Vulkan:9B 生成 44.1 tok/s、prefill 只比 CPU 快 1.66 倍,附 26B MoE 塞法与九条报错急救。

2026年11月21日 5 小时前 作者 站长 约 9 分钟 10 阅读

这张卡的二手价和一张 RTX 3060 12G 差不多,参数却是 16GB GDDR6、560 GB/s 带宽、512 个 XMX 引擎、262 TOPS INT8。按纸面算,它该是本地推理的性价比之王。

但你翻出 2025 年那篇《Arc A770 部署本地大模型》,第一步就卡住:pip install ipex-llm 装完跑不起来。不是你的问题——Intel 在 2026 年 1 月 28 日把整个 IPEX-LLM 仓库归档了,README 写明「不再提供开发或支持」,并且「已被认定存在已知安全问题」。继任者 llm-scaler 走 vLLM + Docker,官方至今没把 Alchemist(A770 这一代)放进支持列表。

也就是说,2023 到 2025 年的中文 A770 教程,现在基本是负资产。但卡没坏。我用一张 A770 16G 在 Windows 11 上把现存的路线跑了一遍:9B 模型全量卸载到显存能到 44.1 tok/s。更值得说的是那个反差——同一张卡,提示处理只比 6 核 CPU 快 1.66 倍,生成却快 5.2 倍。这个数字决定了它适合干什么、不适合干什么。

先说结论:四条路里,两条已经关了

把「能不能在我这张 A770 上跑起来」当成唯一标准,2026 年 11 月的现状是这样:

路线状态在 A770 上的实际表现
IPEX-LLM2026-01-28 归档仓库只读,Intel 不再收补丁;README 自述存在已知安全问题
llm-scaler不支持 AlchemistvLLM + Docker,面向 Battlemage 与 Pro 卡;issue #283 开了九个月仍无官方答复
llama.cpp SYCL能用,但前置重要吃 XMX 就得装 oneAPI 运行时;K-quant 优化一般,个别卡有输出异常报告
llama.cpp Vulkan零依赖,首选Vulkan 运行时随驱动装好,解压即跑;Ollama / LM Studio 在 Arc 上也走这条

所以这不是「哪条更快」的选择题,而是只有 Vulkan 一条能开箱跑。SYCL 值得试,但要先接受它的三个前提:oneAPI 运行时(Windows 上是一套几百 MB 的安装器)、对 Q4_K_M 这类 K-quant 的优化不如 legacy 量化、以及不同驱动版本下的输出稳定性要自己验。

A770 四条推理路线横向对比:IPEX-LLM 与 llm-scaler 已不可用,Vulkan 与 SYCL 可用

为什么 A770 不能照抄 N 卡教程(三个结构性差异)

差异一:没有 CUDA,nvidia-smi 那一套全部失效

N 卡教程的第一步通常是 nvidia-smi 看显存、CUDA_VISIBLE_DEVICES 选卡。A770 上这两个都不存在:显存要看 llama-cli --list-devices,多卡选设备用 GGML_VK_VISIBLE_DEVICES,而且它按 Vulkan 设备序号排,不按 PCI 顺序。

:: 看卡(Windows,llama.cpp 解压目录下)
llama-cli.exe --list-devices

:: 只让 llama.cpp 看到第 0 张 Vulkan 设备
set GGML_VK_VISIBLE_DEVICES=0

差异二:16GB 不是 16GB

Vulkan 后端报的是 16258 MiB,可用 15488 MiB,差的那部分被驱动和桌面占走了。更隐蔽的是 llama.cpp 1.0 的 --fit 默认是 on:它按每张卡保留 1024 MiB 余量、上下文不低于 4096 来自动降层。也就是说,你什么都不设,它也可能不把 9B 全塞进显存,然后你会以为是卡不行。

要看真实占用,把 --fit off 打开,再读日志里的 Vulkan0 KV buffer size 与 Vulkan0 compute buffer size。想复现别人的跑分,这两个数必须一起报,否则没有可比性。

差异三:matrix cores: none 不是故障

启动日志里这一行最容易劝退人。A770 有 512 个 XMX 引擎,为什么显示 none?因为 Vulkan 后端走的是 VK_KHR_cooperative_matrix 扩展,不是直接点 XMX。驱动没暴露、构建没开,或者环境里存在 GGML_VK_DISABLE_COOPMAT,都会显示 none——注意这个变量只要存在就生效,设成 0 也算禁用。

而且 A770 这一代(DG2)上,强开协作矩阵历史上是负优化:llama.cpp 在 Linux 上对 Intel 显卡直接绕开这条路径,有 A770 卡主在 Linux 上实测开启后慢了约 6 倍。所以看到 none 不用修,它只是解释了你的 prefill 为什么快不起来。

三分钟体检:确认卡真的被 Vulkan 接住

装完 llama.cpp 的 win-vulkan-x64 包,先跑这两条,把输出留在手里——后面所有问题都靠它定位:

llama-cli.exe --list-devices

Available devices:
  Vulkan0: Intel(R) Arc(TM) A770 Graphics (16258 MiB, 15488 MiB free)

ggml_vulkan: 0 = Intel(R) Arc(TM) A770 Graphics (Intel Corporation)
| uma: 0 | rebar: 1 | fp16: 1 | bf16: 0 | fp4: 0 | warp size: 32
| shared memory: 49152 | int dot: 1 | matrix cores: none

三个字段决定你后面能跑多快:

  • rebar: 1:大 BAR 窗口开没开。是 0 就先去 BIOS 打开 Above 4G Decoding 与 Re-Size BAR,再谈优化——这张卡大量显存访问要走窗口映射,ReBAR 关着时跑分普遍偏低。
  • fp16: 1:半精度可用。是 0 说明驱动或系统层面有问题,先重装 Intel 驱动。
  • bf16: 0:正常。A770 没有 bf16,所以别选要求 bf16 KV cache 的模型或参数。

驱动版本也要记下来。我这台是 32.0.101.9175(2026-11-04)。Arc 的性能红利很大一部分藏在驱动里,同卡不同驱动差一截是常态,报跑分不报驱动版本没有意义。

实测:Qwen3.5-9B 在 A770 上到底多少 tok/s

测试条件:Ryzen 5 7500F(6 核 12 线程)、32GB DDR5、A770 16G、Windows 11、llama.cpp b12606(v1.0.0-dev)、Qwen3.5-9B-Q4_K_M(5.68GB),llama-bench 跑 pp512 / tg128,3 次取平均。

配置pp512(提示处理)tg128(生成)谁在算
纯 CPU,6 线程553 tok/s8.4 tok/sRyzen 5 7500F
Vulkan,-ngl 99,-fa off915 tok/s44.1 tok/sA770 全量
Vulkan,-ngl 99,-fa on920 tok/s44.1 tok/sA770 全量

A770 与 CPU 的速度对比:提示处理 920 对 553 tok/s,生成 44.1 对 8.4 tok/s,虚线是 560GB/s 对应的 99 tok/s 理论上限

两个数字的方向完全相反,这是 A770 最容易被误解的地方:

  • 生成(decode)是它的主场:44.1 tok/s 是 CPU 的 5.2 倍。每吐一个 token 都要把 5.68GB 权重读一遍,560 GB/s ÷ 5.68GB ≈ 99 tok/s 是理论上限,实测效率约 45%——剩下那 55% 卡在后端 kernel,不在显存。
  • 提示处理(prefill)没有想象中强:915 tok/s 只有 6 核 CPU 的 1.66 倍。一台 7500F 能干到 A770 的六成,这在 N 卡上很少见。原因就是上一节那行 matrix cores: none——矩阵乘走的是 shader 路径,512 个 XMX 没参与。

这条差异直接决定用途:长文档灌进去、只让它总结一句,A770 的首字延迟不比 CPU 好多少;反过来,短问题、长回答、Agent 连续调用这类「写得多、读得少」的活,5 倍生成速度才是真优势。

FlashAttention 这一项在 A770 上可以不用纠结:-fa on 与 -fa off 的差距是 920 对 915、44.1 对 44.5,都在噪声里。开不开看你顺眼。

16G 显存的第二笔账:上下文比模型更吃显存

很多人算显存只算模型文件,然后 8K 上下文一开就 OOM。实测这版 9B 的 KV 是每 1K token 32 MiB,加上计算缓冲,翻倍算很快(合计为 Vulkan0 上的模型 + KV + 计算 + 状态缓冲):

上下文KV cache(f16)显存合计tg128
4096 token128 MiB5.0 GiB43.1 tok/s
8192 token256 MiB5.2 GiB42.0 tok/s
16384 token512 MiB5.4 GiB40.0 tok/s
32768 token1024 MiB5.9 GiB38.0 tok/s

想省显存有三个档:-ctk q8_0 -ctv q8_0 大约砍一半,q4_1 再砍一半但长文会掉点。唯独 q4_0 要避开——社区在 Vulkan 上有过 prefill 从 64 t/s 掉到 13 t/s 的实测记录,省下的显存不值这个价。

并发是隐形杀手:--parallel 4 会把 KV 按 4 份开,等于上表每个数字乘 4。16G 卡上跑 9B,稳妥的是 1 路 32K,或者 4 路 8K,二选一。

想跑更大的:26B MoE 的三种塞法

llama.cpp 1.0(11 月 13 日)把 MoE 专家缓存并进了主分支,这是 16G 卡今年最实用的一次更新。三个参数分工很明确:

:: 1. 所有专家都留在 CPU,只把注意力层放显存
llama-cli -m model.gguf -ngl 99 -cmoe

:: 2. 只把前 12 层的专家留在 CPU(层数自己试,越少越快、越容易爆)
llama-cli -m model.gguf -ngl 99 -ncmoe 12

:: 3. 给 GPU 上的专家开 8GB 缓存,缓存未命中时按比例交给 CPU 算
llama-cli -m model.gguf -ngl 99 --moe-cache-mib 8192 --moe-cache-cpu-share 1.0

我用 gemma-4-26B-A4B 的 UD-Q4_K_M(16.95GB,比 16G 显存大 1GB 出头)试了这三种塞法:

塞法结果pp512tg128
-ngl 99,专家全进显存加载失败:ErrorOutOfDeviceMemory——
-ncmoe 30(全部专家留 CPU)能跑,最慢15516.4
-ncmoe 20能跑18724.6
-ncmoe 10(推荐)能跑,最快27129.4
-ncmoe 5能跑,反而变慢20223.4
-ncmoe 2 / 0加载失败:显存不够——

结论有点反直觉:不是把越多专家塞进显存就越快。-ncmoe 10 是这台机器的甜点,20 层专家在显存里、10 层留在内存,生成 29.4 tok/s;再往下压到 5,显存被吃满,速度掉回 23.4;压到 2 就直接 ErrorOutOfDeviceMemory。26B 的 MoE 在这张卡上能跑到 29 tok/s,是 9B 纯 CPU(8.4 tok/s)的 3.5 倍——代价是模型文件 17GB、加载要等,以及 -ncmoe 的层数得自己一格一格试。

还有一个应急开关:set GGML_VK_ALLOW_SYSMEM_FALLBACK=1,显存不够时直接用系统内存兜住,不 OOM,但会明显掉速。适合「今天必须跑通」,不适合日常——真日常用,还是按上面的 --moe-cache-mib 分配。

常见翻车报错与急救清单

现象真实原因解法
ggml_vulkan: No devices found驱动没装好,或 Vulkan 运行时缺失装最新 Intel 驱动,重跑 --list-devices;仍为空就换 win-vulkan-x64 包
device memory allocation of size ... failed权重 + KV 超了 15488 MiB降上下文、降 -ngl、-ctk q8_0,或交给 --fit on
跑起来了但只有 3–5 tok/s其实全在 CPU 上跑看日志 offloaded 0/XX layers to GPU,补 -ngl 99
error: unknown argument: --flash-attn老 b 版本的参数名不同换 b12606 或更新,参数是 --flash-attn on|off|auto
显存只显示 4GBWindows WMI 的 32 位字段溢出以 --list-devices 为准,任务管理器也别信
Ollama 里 100% CPUVulkan 后端没启用设 OLLAMA_VULKAN=1 重启,用 ollama ps 看是不是落到 GPU
长上下文突然卡死、驱动重置KV 爆了在换页,或撞上 WDDM 超时降 -c,关浏览器硬件加速,别在后台跑游戏
装 IPEX-LLM 报模块找不到 / 跑不通项目 2026-01 已归档别修了,换 Vulkan 包,十分钟能跑起来
设了 GGML_VK_DISABLE_COOPMAT=0 还是 none该变量存在即禁用,值是 0 也算set GGML_VK_DISABLE_COOPMAT= 清空后再启动

谁该买,谁别买

该买:预算一千出头、需要 16GB 显存跑 7B–14B 量化模型、任务偏「短输入、长输出」的人。写代码补全、批量改写、Agent 连续工具调用这类场景,5 倍生成速度是实打实的体感;它还能把 9B + 32K 上下文压进 6GB 显存,剩下的空间给桌面和浏览器。

别买:靠长文档 RAG 吃饭的人(prefill 只比 6 核 CPU 快 1.66 倍,首字延迟不会给你惊喜)、想跑 30B 以上稠密模型、想做微调、想用 vLLM 做多并发服务的人。A770 的软件栈现在是「能用」,不是「好用」——它已经被 Intel 停产(最后出货 2026-05-20),不会再有新特性砸过来。

同一条「非 N 卡」路线上,站内还写过 RX 7900 XTX 跑 125B 的五道关 和 MTT S80 跑通第一个模型,可以对照看各家的坑在哪。

最后一句实话:这张卡今天的位置很像 2023 年的 AMD——硬件不差,软件在补课。你要是愿意当那个「把日志贴出来的人」,它现在依然是千元档里显存最宽的一张。

你手上是哪张非 N 卡?把 --list-devices 那两行贴到评论区,尤其是 rebar 和 matrix cores,我按你的输出帮你看卡在哪一步。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →