个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 反馈
资讯 人工智能 AMD 2026-11-19 博客、Unsloth NPU 文档、FastFlowLM README 与 Linux 指南、Lemonade 文档

锐龙 AI 薄本跑本地智能体:卡人的不是显存,是驱动和内存

没有独显的锐龙 AI 笔记本也能挂常驻 Agent,但 Ollama 和 llama.cpp 看不到 NPU。这篇拆清机型怎么对号、内存要多少、Windows 与 Linux 各卡在哪,并给出五道闸自查顺序与九条报错对照。

2026年11月20日 9 小时前 作者 站长 约 9 分钟 11 阅读

11 月 19 日 AMD 宣布,XDNA 2 成为首个被 Unsloth Desktop 支持的 NPU,一百多款智能体应用可以直接把请求指到笔记本里那颗芯片上。消息一晚上铺满时间线,但真拿一台锐龙 AI 轻薄本去点「Enable NPU」的人,遇到的多半是另一套剧本:按钮是灰的、模型下载停在 37% 不动、flm run 甩一句 No such device with index '0'。

更常见的误区是回头装 Ollama。它确实能在同一台机器上跑起来,但跑的是 CPU 或核显——NPU 占用曲线从头到尾是一条 0。这不是参数没调对,是 Ollama 和 llama.cpp 至今没有 XDNA 后端,请求根本到不了那颗芯片。

这条路是通的,只是窄。官方给的数字:Qwen3.5-9B 9.5 tok/s、Gemma4-12B 6.8 tok/s、Qwen3.6-35B-A3B 17.2 tok/s,首 token 1.05~3.13 秒。下面按「机型对不对 → 内存够不够 → Windows 怎么点 → Linux 怎么过闸 → Agent 怎么接」的顺序拆,末尾给一张报错对照表。

为什么 Ollama 跑得动,却摸不到 NPU

模型文件是同一份 GGUF,差的是中间那层推理运行时。Ollama 和 llama.cpp 的后端列表里只有 CPU、CUDA、ROCm、Vulkan,没有 XDNA;NPU 的算子要由 FastFlowLM(FLM)编译成专门的 kernel 才能跑。所以「装个 Ollama 就能用 NPU」这个预期,从架构上就不成立。

两条软件栈对比:Ollama 与 llama.cpp 只能落到 CPU 或核显,Unsloth Desktop 与 flm serve 才能把请求送进 XDNA 2 NPU

真正的调用链是四段:应用发 OpenAI 兼容请求 → Unsloth Desktop API 或 flm serve 接住 → Lemonade 与 FLM 负责模型服务和推理 → 落到 XDNA 2 NPU。应用侧只认 base_url,所以 Cline、Open WebUI、OpenCode、Hermes Agent 这类工具改一行配置就能换过来,这也是「一百多款应用」这个数字的来源。

三条路线怎么分工

路线推理由谁跑模型格式吃得到 NPU适合谁
Ollama / llama.cpp自带后端,落到 CPU 或核显GGUF否只要「能跑」,不在乎功耗和占用
Unsloth DesktopLemonade + FastFlowLMNPU 分区为 Q4NX是不想碰命令行,点几下就要能用
FastFlowLM CLIFLM 本体Q4NX是要脚本化、要接进自己的服务
Lemonade ServerNPU 走 FLM,GPU 走 llama.cpp两种都收是一台机器上要同时管 NPU 和独显

Q4NX 是硬约束。FLM 的 NPU 引擎只吃这种四位量化格式,手头的 GGUF 再小也塞不进去。Unsloth 的 Export 页能转,标准路径是 Q4_K_M,转换跑在 CPU 上。但这一步官方口径还没收敛:FAQ 说自定义转换的模型不能直接从 NPU 列表加载,更新日志又说可以——稳妥点从 Trained 页加载。

第一道坎:你的「锐龙 AI」可能是 XDNA 1

这是最容易白忙一晚的坑。AMD 把「Ryzen AI」这个名字用在了两代 NPU 上,只有 XDNA 2 才在这轮支持列表里:

  • Ryzen AI 300 系列:Strix Point、Krackan Point(Kraken Point 同架构)
  • Ryzen AI Max:Strix Halo,也就是那批 128GB 统一内存的机器
  • Ryzen AI 400 系列:Gorgon Point
  • 掌机:Z2 Extreme 这类带 XDNA 2 的整机也在支持范围内

反过来说,Ryzen AI 7000、8000、200 系列是 XDNA 1,不在这轮支持里。同样是「AI 后缀」的轻薄本,差一代就是从头到尾跑不通。判断方法很土但很准:打开任务管理器 → 性能,看有没有「NPU」这一栏。没有,就不是驱动没装,是硬件本身不在名单上,后面所有步骤都可以省了。

第二道坎:32GB 只够 9B,35B 要 64GB

NPU 没有独立显存,它和核显共用系统内存。AMD 给的算账方式是:Qwen3.6-35B-A3B 跑全上下文,大约要 28GB 可供 NPU 使用的内存;Windows 默认把一半内存划作共享分配,所以整机得 64GB 才稳。按这个比例倒推,32GB 机器的 NPU 侧大约只有 16GB 可用。

NPU 模型文件大小建议整机内存生成速度首 token
Qwen3.6-35B-A3B(MoE)20.6GB64GB17.2 tok/s3.13s
Qwen3.8-27B(MTP)18.1GB48GB2.0 tok/s3.80s
Gemma4-12B-IT8.7GB32GB6.8 tok/s1.70s
Qwen3.5-9B7.6GB32GB9.5 tok/s1.11s
Qwen3-VL-4B-Instruct未公布16GB20.5 tok/s1.05s
LFM3-1.7B1.5GB16GB40.7 tok/s0.12s

表里最值钱的一行不是 35B,是 27B 那个 2.0 tok/s。27B 比 35B 小,速度只有它的九分之一,因为前者是稠密模型、后者是 MoE——A3B 每 token 只激活约 30 亿参数,权重还得全放进内存,但每次读的少。在这类统一内存架构上,先挑 MoE,再挑稠密,这条比看参数量重要得多。

速度这组数字得看清楚口径:官方没有公布测试机型、上下文长度和 NPU 电源模式(默认是 Performance 档),也没有对比同机型核显的功耗。它只能用来横向自比,别拿去做「NPU 比某张显卡快」的结论。同样,「每 token 能耗低 2~4 倍」也是厂商口径,没有点名对比哪张 GPU、怎么测的。

Windows 这条路:先更新驱动,再点三下

FastFlowLM 把驱动门槛写得很死:NPU 驱动要 32.0.203.311 或以上,低于此版本不再支持。查版本的位置是设备管理器 → NPU 设备 → 属性 → 驱动程序,或者任务管理器 → 性能 → NPU 看驱动版本。低了过去跑 Windows Update,或者去 AMD 官网按型号下。

驱动到位之后,图形界面这条路最省事:装 Unsloth Desktop → 进 Model Hub → 点筛选图标,下拉里选 NPU → 点 Enable NPU(它会顺手下 FLM 并检查驱动)→ 下载要用的 NPU 模型 → 回 New Chat,在下拉里往下滚,找到 NPU 分区那条,按需要的上下文加载。

要脚本化就用 FLM 本体。装完 flm-setup.msi 之后在 PowerShell 里:

# 先确认 NPU、固件、memlock 三项状态
flm validate

# 直接对话,模型不存在会自动拉
flm run qwen3.5:9b

# 起一个本地 OpenAI 兼容服务,默认端口 52625
flm serve qwen3.5:9b

# 下载损坏时强制重拉(比删目录重来快)
flm pull qwen3.5:9b --force

模型默认落在 C:\Users\<用户名>\.flm\models\,安装时可以改盘符。两个小开关值得记:FLM_MODEL_PATH 换模型目录(Linux 侧常用),FLM_DISABLE_UPDATE_CHECK=1 关掉启动时的版本检查,离线环境能少等几秒。

「下载卡住」是最常被误判的故障。进度条停在某个百分比不动,多半不是挂了,是在从 HuggingFace 拉 NPU 内核。网络受限的话手动把模型放进 .flm/models,或者 flm pull <tag> --force 重拉一次。

Linux 这条路:五道闸,少一道就报 device index

AMD 明确说过,这套东西在 Linux 版 Unsloth Desktop 上同样可用,不是 Windows 专属。但 Linux 的前置条件更硬,而且失败时的报错不会告诉你缺哪一环。按顺序过,每道闸都有能自己验证的通过标准:

五道闸排查顺序:机型、驱动、固件、内存锁、XRT,每道闸对应一条验证命令与通过标准

Ubuntu 24.04 / 25.10 上的最小路径是四步:加 ppa:lemonade-team/stable → sudo apt install libxrt-npu2 amdxdna-dkms → 重启 → 装 FastFlowLM 的 deb 包。内核侧要么是 7.0 以上自带 amdxdna,要么用 dkms 补;固件要 1.1.0.0 以上;memlock 必须是 unlimited。

# 三项一起看:内核、NPU 设备节点、固件版本、memlock
flm validate
# [Linux] Kernel: 7.0.0-rc1
# [Linux] NPU: /dev/accel/accel0
# [Linux] NPU FW Version: 1.1.2.64
# [Linux] Memlock Limit: infinity

# memlock 不是 unlimited 时
ulimit -l
# 在 /etc/security/limits.conf 追加:
# * soft memlock unlimited
# * hard memlock unlimited

最容易漏的是第五道闸。flm validate 走的是内核 DRM 设备节点,flm run 走的是 XRT,两层是分开的。所以会出现「validate 全绿,run 还是 No such device with index '0'」这种看着自相矛盾的情况——修法是确认装了 XRT 的 amdxdna 插件,再跑 xrt-smi examine,设备表里能看到 NPU 才算通。

Arch 用户还要多看一眼:modinfo -F filename amdxdna 要指向 updates/dkms 下的模块,指向 kernel/drivers/accel/amdxdna/ 说明还在用内核自带的那份。另外有个反直觉的坑:把 npu.sbin.zst 强行指到 1.1 固件,反而会让内核态驱动探测失败、NPU 直接消失,因为旧内核等的是老协议。要么用 dkms 驱动配 npu_7.sbin.zst,要么换带新驱动的内核,别硬改符号链接。

接 Agent:改一个 base_url 就行

两条服务都能给出 OpenAI 兼容端点,区别在端口和鉴权:FLM 自带服务默认 52625;Lemonade 默认 13305,路径是 /api/v1,设了 LEMONADE_API_KEY 就走 Bearer 头,没设的话客户端随便填个占位值也能过。

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:52625/v1",   # Lemonade 则换成 13305/api/v1
    api_key="local",                        # 本地服务不校验,占位即可
)

print(client.chat.completions.create(
    model="qwen3.5:9b",
    messages=[{"role": "user", "content": "把这段会议记录压成三条待办"}],
).choices[0].message.content)

Cline、Open WebUI、OpenCode 这类客户端同理:选 OpenAI Compatible,base_url 填上面那个,模型名填 FLM 的 tag(qwen3.5:9b、qwen3.6-moe:35b-a3b 这种,用 flm list 能看到全集)。注意两点:服务只监听本机回环,局域网里别的设备连不上,要共享得自己开 LAN 访问;卸载模型才会释放 NPU,退出 Unsloth 则连托管运行时一起停。

常见翻车报错与急救清单

现象大概率原因怎么处理
Enable NPU 是灰的 / 筛不出 NPU机型是 XDNA 1(Ryzen AI 7000/8000/200)或驱动缺失任务管理器看有没有 NPU 栏;没有就是硬件不支持
提示驱动版本过低驱动低于 32.0.203.311Windows Update 或 AMD 官网更新,重启后再试
模型下载停在某个百分比正在拉 NPU 内核,或 HuggingFace 不可达先等;再不行手动放 .flm/models 或 flm pull --force
flm validate 报固件版本低固件低于 1.1.0.0更新 NPU 固件;别硬把符号链接指到 1.1
加载到一半退出 / 权限报错memlock 不是 unlimitedlimits.conf 放开 soft / hard memlock 后重启
validate 通过,run 报 No such device with index '0'XRT 看不到 NPU装 XRT 的 amdxdna 插件,用 xrt-smi examine 确认设备表
回答正常,但 NPU 占用一直是 0模型没在 NPU 分区加载,回落到 CPU 或核显New Chat 下拉里选 NPU 分区那条;命令行别用 ollama
35B 一加载就内存不足全上下文要 28GB 给 NPU,32GB 机器只有约 16GB降到 9B / 12B,或换 64GB 机器
自己转的 Q4NX 在 NPU 列表里找不到官方 FAQ 与更新日志口径未收敛从 Trained 页加载,别指望出现在 NPU 分区

什么情况下别走这条路

先把劝退的说清楚,省得折腾两晚再放弃:

  • 要 30B 以上稠密模型的质量:27B 稠密在 NPU 上只有 2.0 tok/s,写代码时会等到怀疑人生,这类需求老实上独显或云。
  • 要读整个代码仓库:qwen3.8-mtp:27b 的上下文只有 16,377,256k 长上下文只在 qwen3.5 全系、qwen3.6-moe、qwen3vl-it 这些型号上才有。
  • 要微调或训练:这轮打通的是推理,训练和图像/视频生成仍然走 Radeon 独显那条路。
  • 要多人共用:这是单机单用户的桌面路径,别把它当推理服务器。
  • 还在 Windows 10:要求 Win11;Linux 侧则要 7.0 内核或 dkms,发行版太老会一路卡在驱动。

它最合适的场景很具体:一台 32GB 的锐龙 AI 轻薄本,白天写代码、晚上挂一个常驻的整理 Agent,不插电也想让它干活,又不想核显被占住导致外接屏掉帧。「低功耗常驻」才是 NPU 的位置,不是拿来比 tok/s。

站内 RX 6000 在 Windows 上没有 ROCm 的四条路写的是独显的困境,这篇是核显本的另一半:独显拼算力和显存,NPU 拼内存容量和驱动版本。

你手上是哪一颗?把「任务管理器 → 性能」里有没有 NPU 那一栏、以及 flm validate 的前四行贴到评论区,我帮你判断卡在第几道闸。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →