RX 6000 跑本地大模型:Windows 没有 ROCm,四条路怎么选
RX 6000 全系不在 AMD Windows HIP SDK 兼容表里,但 Ollama 的 Vulkan 路线开箱即用:给出三份官方文档的口径差异、Vulkan 与 Linux ROCm 的性能交叉点、按显存的模型档位与三个高频失败点的对症解法。
为什么写这篇
二手市场上 2000 元上下能买到的 AMD 显卡,绝大多数不是 RX 7900 XTX,而是 RX 6700 XT、RX 6800 这一档 RDNA2 卡。中文教程对这批卡的态度两极:要么一句「AMD 不支持 ROCm」直接劝退,要么整篇只讲 7900 XTX 怎么配——可手里是 6700 XT 的人照着做,第一步就卡死。
实际情况是:AMD 官方的 Windows HIP SDK 兼容表确实把 RX 6000 全系标为不支持,但 Ollama 官方文档明确写了 RDNA2 在 Windows 上的推荐方案,llama.cpp 的公开成绩榜上有 RX 6700 XT 的实测分数,Linux 侧甚至存在一条对 RDNA3 用户都没打开的官方支持通道。问题不是「能不能跑」,而是你得知道三份互相矛盾的文档各自在说什么,然后选对路线。
这篇把四条路线拆开讲:每条能跑什么、代价是什么、哪一步最容易翻车。所有数字都标注了来源,社区实测的会注明「社区实测」,别当成官方承诺。
先分清三张表:官方文档在说三件不同的事
搜「RX 6700 XT ROCm 支持」,你会看到三种结论,而且都有官方出处。这不是谁写错了,是三张表的口径不同。
第一张表:AMD HIP SDK for Windows 的兼容列表。 7.2 版文档(2026 年 7 月更新)里,Radeon RX 6000 全系都是 ❌:
- RX 6950 XT、6900 XT、6800 XT、6800 —— gfx1030,不支持
- RX 6750 XT、6700 XT、6700 —— gfx1031,不支持
- RX 6650 XT、6600 XT、6600 —— gfx1032,不支持
同一张表里,RX 7900 XTX / 7900 XT(gfx1100)、RX 7800 XT / 7700 XT(gfx1101)、RX 7650 GRE / 7600 XT / 7600(gfx1102)以及 RX 9000 系全部支持,Ryzen AI Max 系列 APU(gfx1151)也支持。这张表约束的是「系统级 HIP SDK 开发环境」:你要在自己的机器上编译 CUDA 风格的 kernel、做调试,AMD 只对这些卡提供官方构建库。到 2026 年 10 月的 ROCm 10.x,官方开始合并 Linux 与 Windows 的兼容列表,但 RX 6000 依然没有出现在任何 Windows 列表里。
第二张表:Ollama 的 Windows ROCm 支持列表。 Ollama 官方硬件文档要求 Windows 上有「兼容 ROCm v7 / HIP7 的驱动栈」,列表只列了 RX 7900 XTX / 7900 XT / 7900 GRE、7800 XT、7700 XT、7600 XT、7600 和五张 PRO 卡——注意这里连 RX 9000 系都还没列进去。但 Ollama 的 Windows 文档同时写了一句关键的话:某些 RDNA2 / RX 6000 系统(包括 RX 6800 级别的显卡)在当前的 Windows AMD 驱动程序上不会公开 ROCm v7,Vulkan 默认处于启用状态,是这些系统的推荐方案。
第三张表:ComfyUI 官方文档的 Windows 支持说明。 里面明确写着 AMD GPU (Windows) 支持 RDNA 2、RDNA 3、RDNA 3.5、RDNA 4——用的是 AMD 多架构 PyTorch 包(自带 ROCm 运行库),不依赖你系统里装的 HIP SDK。
把三张表放在一起,结论就清楚了:「不支持」约束的是系统级开发环境,不是推理能力。 你想跑本地大模型,走的是推理工具的路线,工具自带什么运行库、驱动暴露什么接口,才是真正的判据。所以别照着第一张表把卡卖了,也别照着第三张表直接装 ComfyUI 跑 14B 文本模型——ComfyUI 管的是图像生成,那是另一篇文章的事。
路线一:Vulkan——Windows 上唯一默认可用的路
RDNA2 用户在 Windows 上的现实选项是 Vulkan 后端。llama.cpp 的 Windows 预编译包直接带 Vulkan 构建,Ollama 在装好后端的情况下 Vulkan 默认启用,LM Studio 的运行时管理里也能直接切 Vulkan 版 llama.cpp 引擎。不需要装 HIP SDK,不需要编译,不碰任何 override 变量。
先确认驱动层面有 Vulkan。 运行 vulkaninfo --summary(需要 Vulkan SDK 的工具,或者用 GPU-Z 这类工具看 Vulkan 支持列),RX 6000 全系都支持 Vulkan 1.3。这一步通过的卡,理论上都能走这条路线。
混合核显/独显的机器要指定设备。 带 Radeon 核显的 APU 平台,Vulkan 可能挑中不稳定的核显。Ollama 文档给的办法是设置 GGML_VK_VISIBLE_DEVICES 为独立显卡的索引号。llama.cpp 侧用 --list-devices 先看一遍设备列表再选。
验证三步,别靠感觉:
vulkaninfo --summary # 确认驱动有 Vulkan 1.3
llama-cli --list-devices # llama.cpp 能否看到卡、显存多少
ollama ps # PROCESSOR 列 100% GPU 才算真的在卡上跑
ollama ps 那一步最容易骗人:Ollama 不支持 GPU 时静默回退 CPU,不报任何错,只是慢好几倍。PROCESSOR 列显示 100% GPU 是全量在卡上;显示类似 48%/52% 的分裂,说明显存放不下、一部分层溢到了内存——这不是故障,是容量不够,该减量化档位或减上下文。
性能预期,用公开成绩说话。 llama.cpp 仓库的 Vulkan 成绩榜(Llama 2 7B Q4_0,单流生成)给出的数字:
| 显卡 | 显存 | 生成速度(tok/s) |
|---|---|---|
| RX 7900 XTX | 24 GB | 182.63 |
| RX 7900 XT | 20 GB | 123.18 |
| RX 7800 XT | 16 GB | 118.27 |
| RX 6800 | 16 GB | 101.47 |
| RX 6700 XT | 12 GB | 83.88 |
| RX 5700 XT | 8 GB | 约 55 |
两张 RDNA2 卡的数字不丢人:RX 6800 的 101 tok/s 已经超过很多 CPU 平台一个数量级,RX 6700 XT 的 84 tok/s 日常对话完全流畅(阅读舒适线大约在 10–15 tok/s 以上)。7B Q4 权重约 4 GB,12 GB 的 6700 XT 甚至有富余。
模型档位怎么选: RX 6700 XT 的 12 GB 可以放下 14B 级别的 Q4 量化(约 9 GB 权重),剩余空间给 KV cache 和缓冲——8K 上下文没问题,32K 就要紧张了,KV cache 和缓冲区还要再吃 1–4 GB。RX 6800 的 16 GB 跑 14B Q4 很从容,20B 级别(如 gpt-oss 的 13 GB 权重)开始挤压:社区实测里,16 GB 的 RX 6950 XT 跑 27B 模型只塞进去 81%,速度直接掉到个位数 tok/s。8 GB 的 RX 6600 系就守着 7–8B 的 Q4,别碰 14B。
路线二:Linux + ROCm——长文档场景的加速器
如果这台机器能装 Linux,RDNA2 里有一半的卡能得到比 Windows 更好的待遇,而且这部分是官方支持,不是野路子。
Ollama 的 Linux ROCm 支持列表里明确包含 RX 6950 XT、6900 XT、6800 XT、6800,甚至 RDNA1 的 5700 XT / 5600 XT / 5500 XT 也在列。也就是说 gfx1030 这一代在 Linux 上有官方的 ROCm v7 驱动支持,装好 amdgpu-install 的 ROCm 包就能用,不需要任何 override。
RX 6700 XT / 6750 XT(gfx1031)和 RX 6600 系(gfx1032)不在这个列表里,但可以用 override 变量把芯片伪装成 gfx1030:
HSA_OVERRIDE_GFX_VERSION=10.3.0 ollama serve
注意两点:一是这个变量是 Linux 方案,Ollama 文档把它放在 Linux 章节里,Windows 上不存在这条路;二是它是非官方变通,可能崩溃或静默回退 CPU,社区实测还报告过需要给 flash-attention 的一个断言打补丁才能编译通过。
那 Linux + ROCm 到底值不值? 有一个对 RDNA2 用户非常有参考价值的公开实测:RX 6700 XT 跑 Gemma 4 12B(IQ4_NL,8192 上下文),ROCm 后端预填充 653.9 tok/s、生成 34.6 tok/s;Vulkan 后端预填充 354.4 tok/s、生成 40.9 tok/s。翻译一下:
- 生成(decode)Vulkan 反而快 15%——聊天场景 Vulkan 就够了;
- 预填充(prefill)ROCm 快 84%——喂长文档、RAG 检索、长上下文总结时差距拉到近两倍;
- 两个后端的整轮耗时在 约 1760 个 prompt token 处交叉:prompt 短于这个数用 Vulkan 合算,长于这个数 ROCm 开始净赢。
所以决策不复杂:这台机器只是聊天助手,留在 Windows 用 Vulkan,省心;这台机器要批量处理长文档(哪怕是每天十几篇的总结任务),装个 Ubuntu 把 ROCm 路线打开。prefill 快一倍意味着同样的文档量,等待时间接近减半。
路线三、四:旧教程遗产,知道就行,别花时间
DirectML。 2022–2024 年中文教程的主力方案,通过 DirectX 12 让任何 DX12 显卡跑 PyTorch。它的问题是吞吐低、显存管理粗糙,现在 PyTorch 官方的 ROCm on Windows 已经落地,DirectML 路线没有任何理由再选。
ZLUDA。 把 CUDA 调用翻译到 AMD 卡上的兼容层,经历过开源/闭源反复,版本间行为差异大,PyTorch 生态里依赖 CUDA-only kernel 的组件(很多自定义节点、bitsandbytes 这类量化库)照样会挂。它作为技术项目很有意思,作为生产路线不稳定。
一句话:新教程教 DirectML/ZLUDA 的,先看发布日期,再看它是不是在讲 RDNA3 之后的卡。RDNA2 用户这两条都不占优,Vulkan 是更省心的选择。
决策表:按手里的卡对号入座
| 显卡 | 显存 | Windows 路线 | Linux 加分项 | 能跑到哪 |
|---|---|---|---|---|
| RX 6950 XT / 6900 XT / 6800 XT / 6800 | 16 GB | Vulkan,开箱即用 | ROCm 官方支持(gfx1030),RAG/长文档值得装 Linux | 14B Q4 从容,20B 勉强,32B 别想 |
| RX 6750 XT / 6700 XT | 12 GB | Vulkan,开箱即用 | override 10.3.0 后可上 ROCm,需补丁,仅长文档场景值得 | 14B Q4 可行,32K 上下文吃紧 |
| RX 6650 XT / 6600 XT / 6600 | 8 GB | Vulkan | 无必要 | 7–8B Q4,14B 别碰 |
| RX 5700 XT / 5600 XT / 5500 XT(RDNA1) | 4–8 GB | Vulkan | 意外地在 Ollama 的 Linux ROCm 列表内,长文档同样有官方通道 | 7B Q4 |
挑模型的原则和 NVIDIA 侧一样:Q4 权重体积约为参数量的 0.6 GB/B,再留 2–4 GB 给 KV cache 和缓冲。具体的档位对照,站内那篇《本地跑大模型要多少显存:8 档参数与 3 种精度对照》算得比这里细。
三个高频失败点,逐个对症
症状一:装了 Ollama,模型跑起来了,但速度像 CPU。 大概率是你在 Windows 上给 RX 6000 硬装了 HIP SDK,然后发现驱动根本不暴露 ROCm v7,Ollama 静默回退 CPU。解法不是重装驱动,而是放弃 ROCm 思路:Ollama 的 Vulkan 后端默认启用,确认 ollama ps 的 PROCESSOR 列即可。同样的「静默回退」在 Intel 卡上也有,排查思路可以参考站内《Ollama 认不出 Intel 显卡:从驱动到 Vulkan 的七步排查》,只是那篇的病根在 Level Zero,这篇在 ROCm v7。
症状二:聊天很快,喂长文档就卡死。 这是 Vulkan 预填充偏弱的固有特性,不是你配错了。参考上文 RX 6700 XT 的交叉点数据:单次 prompt 超过约 1760 token,就到了 ROCm 占优的区间。短期缓解是缩短喂给模型的原文(先摘要再喂),长期解法是给这台机器装 Linux 走 ROCm。
症状三:12 GB 卡跑 14B,速度忽快忽慢。 权重 9 GB 加 KV cache 逼近显存上限,长对话时 KV 增长把部分层挤到了内存。把上下文从 32K 降到 8K–16K,或换 Q3 档量化,速度就稳定了。16 GB 卡用户没这个问题。
结论
RX 6000 在 Windows 上确实拿不到 ROCm,这是 AMD 官方兼容表写死的,短期内不会变。但这批卡通过 Vulkan 路线的实际体验并不差:6800 级别的卡跑 14B Q4 有 100 tok/s 量级的生成速度,6700 XT 也有 84 tok/s,都远超日常可用的门槛。真正的分界线在长文档场景——那里是 Linux ROCm 的主场,gfx1030 的卡甚至不需要 override。
预算在两千上下、想试本地大模型的人,与其在「AMD 不行」和「7900 XTX 教程」之间无所适从,不如按这张决策表对号入座。同价位的具体对比,站内《2000 块的 Arc 和二手 3060:本地 AI 的四笔账》把账算得更完整。
登录后可点赞、收藏与反馈。