在 MTT S80 上跑通第一个模型:驱动、容器与三个验证点
官方 Ollama 安装包里没有 MUSA 运行时,装上能出字但显卡占用为 0。这篇给出摩尔线程 MTT S80 的三条本地部署路线,并附三个自查点,确认模型真的跑在 GPU 上而不是回落到 CPU。
一张摩尔线程 MTT S80 装完驱动,跑 ollama run 能出字,但显卡占用一直是 0——它其实在拿 CPU 跑。 这个现象在 S80 上极其常见,原因不是配置错了,而是官方 Ollama 安装包里根本没有 MUSA 的运行时。
这篇只做一件事:把 S80 从「驱动装好」推到「确认在 GPU 上出 token」。三条可用路线逐条给命令,最后给三个能自己判断真假的验证点。命令全部来自摩尔线程官方文档与仓库,不掺个人发明。
一、动手前先确认三件事
顺序不能反,任何一步不过,后面都是白折腾。
1. 系统必须是 Ubuntu 22.04。 MUSA SDK 的版本说明把验证组合写死了:Intel 平台 + Ubuntu 22.04 + MTT S80。这不是「推荐」,是「只测过这个」。Debian 12、Ubuntu 24.04 上有人装成过,但那属于自己承担风险的范围。
2. 卡要被系统认到。 装完 MUSA 驱动后跑:
mthreads-gmi
这个工具相当于 nvidia-smi。输出里应当能看到设备名(S80)、显存总量(16384MiB 一档)、驱动版本与 MUSA 版本。看不到卡就先别往下走,那是驱动层的问题。mthreads-gmi -L 会用 UUID 形式列出设备,多卡或混合显卡环境里指定设备时要用到它。
3. MUSA SDK 版本要和驱动对上。 开发者平台的下载页目前列到 MUSA SDK 5.2.0,而很多教程引用的是 rc3.1.1(2025 年初的社区版,明确支持 S80 上跑 DeepSeek R1 蒸馏模型)。版本不必最新,但必须和驱动匹配,装错版本最常见的结果是 libmusa.so 加载失败,或者跑起来直接回落 CPU。
二、三条可用路线
三条路共用一个前提:容器运行时。MUSA 的卡要在容器里用,需要 MT Container Toolkit(当前 v1.9.0),装完执行官方给的注册命令:
(cd /usr/bin/musa && sudo ./docker setup $PWD)
docker info | grep mthreads
输出里应该出现 Default Runtime: mthreads。如果还是 runc,容器里的进程看不到卡,后面必然回落 CPU。
路线 A:llama.cpp 的 MUSA 镜像
这是目前最少踩坑的一条,镜像由 llama.cpp 官方仓库构建,依赖已经打进去了。先验证链路通不通,别一上来就上 14B:
docker pull ghcr.io/ggerganov/llama.cpp:light-musa
export MODEL_DIR=$HOME/models
mkdir -p $MODEL_DIR
把任意一个 1B–3B 的 Q8_0 GGUF 放进 $MODEL_DIR。官方示例用的是 llama3.2:1B 的 q8_0,体积不到 1.5GB,下载快、加载快,专门用来验证「卡通不通」。
docker run -it -v $HOME/models:/models ghcr.io/ggerganov/llama.cpp:light-musa \
-m /models/<你的模型文件名>.gguf -ngl 999 -n 512 -cnv
四个参数的意义:-ngl 999 是把 999 层都 offload 到 GPU,写 999 是「有多少放多少」的惯用写法,实际层数由模型决定;-n 512 限制生成 512 个 token,验证够用;-cnv 是对话模式;-v 把宿主机模型目录挂进容器,避免每次重下。
镜像标签会随仓库更新,light-musa 之外还有别的构建,拉之前先去仓库确认当前可用标签,别照着半年前的教程写死。
路线 B:Ollama 的 MUSA 镜像
想要 Ollama 那套模型管理和 API,就得换镜像。原因前面说过:官网的安装包没有 MUSA runner。能用的是厂商与社区构建的版本,标签形如 mthreads/ollama:<版本>-musa:
docker run --env OLLAMA_DEBUG=1 -d \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama-musa \
mthreads/ollama:<当前 musa 标签>
三点必须注意:
- 标签要现查。 这类镜像跟着上游版本 rebuild,半年前的标签对应的 Ollama 版本可能已经不认识新模型架构。
OLLAMA_DEBUG=1要开。 日志会打印检测到哪些 GPU、加载了哪个 runner,这是确认它没走 CPU 的唯一入口。- 多卡或混合显卡要指定设备。 MUSA 侧用的是
MUSA_VISIBLE_DEVICES,值是逗号分隔的 ID;顺序可能变化,用mthreads-gmi -L拿到的 UUID 更可靠。想强制走 CPU 做速度对比,就把它设成一个无效值。
路线 C:SGLang-MUSA / vLLM-MUSA
这条路是给 M1000 那档硬件准备的。官方 SGLang-MUSA 文档第一句就写「建议使用 64GB 显存的模组设备」,示例模型是 Qwen3-30B-A3B 的 GPTQ-Int4。放到 16GB 的 S80 上,模型本身都装不下。
它的价值在于让你看清官方部署形态:
python3 -m sglang.launch_server \
--model-path ~/models/Qwen3-30B-A3B-GPTQ-Int4/ \
--quantization moe_wna16 \
--mem-fraction-static 0.9 \
--max-running-requests 1 \
--max-total-tokens 16384
逐项读:--mem-fraction-static 0.9 预占九成显存给权重和 KV cache;--max-running-requests 1 是单请求并发;--max-total-tokens 16384 把总 token 预算压在一万六。三项组合起来说明一件事——这套配置的目标是「一张卡稳定服务一个业务」,不是「一张卡扛多并发」。
文档还要求启动前先预编译 TileLang kernel(脚本在 scripts/ci/musa/tilelang_precompile/),否则首次推理会触发运行中编译,启动时间会难看得多。同机器同版本只需做一次。消费级 S80 走这条路,问题不在折腾,在显存。
三、三个验证点与失败排查
这一步比装环境重要。国产卡上「看着在跑、其实在用 CPU」的情况太普遍,靠体感判断会误判。
验证点 1:容器里能不能看到卡。
docker run --rm --gpus all <镜像> mthreads-gmi
容器内 mthreads-gmi 有输出才算设备透传成功。空输出就是 runtime 没生效,回到运行时那一步。
验证点 2:日志里加载的是哪个 runner。 Ollama 开 OLLAMA_DEBUG=1 后,启动日志会写明检测到的 GPU 与选用的库;llama.cpp 启动时会打印后端初始化信息。看到 musa 字样才算数,只看到 cpu / avx2 就是回落了。
验证点 3:速度与占用对得上。 两个数字交叉看:生成速度(tok/s)和 mthreads-gmi 里的显存占用。真正在卡上跑,显存占用会稳定在接近模型体积的数值(14B Q4 大约 10GB 上下),速度在 6–14 tok/s 量级;回落 CPU 时,显存占用接近 0,速度掉到个位数以下,CPU 占用拉满。
失败现象基本只有三种,对应三个层面,按这个顺序查,别乱试:
| 现象 | 层面 | 先看什么 |
|---|---|---|
mthreads-gmi 无输出 | 驱动 / 内核 | 驱动是否装完、设备权限、是否需要重新加载内核模块 |
| 宿主机能看到卡,容器里看不到 | 容器运行时 | docker info 的 Default Runtime 是否为 mthreads |
| 能跑但速度明显不对 | 引擎 | 启动日志加载的是 musa 还是 cpu;-ngl 是否给了足够大的值 |
三条都不通,再回头查系统版本与 MUSA SDK 的匹配——Ubuntu 22.04 之外的系统,官方没有任何验证记录。
四、结论
S80 跑本地模型的现实是这样的:Linux + 容器是唯一被验证过的路径,Windows 上只有驱动层、没有计算栈。 走通之后它能给你 7B 的流畅、14B 的可用,代价是要接受一套 2024 年形态的工具链,以及一个官方文档里不存在的后端。
如果你的卡还没买、正在纠结这张 16GB 值不值,先看这篇:国产卡当天适配 Kimi K3.1,700 块的 S80 为什么跑不了,那里算的是账,不是命令。
如果在同一台机器上还想跑图像生成,摩尔线程这边的路径比文本更薄,别指望一套环境通吃——AMD 那边的情况可以参考 AMD 显卡跑 ComfyUI 做对照。
登录后可点赞、收藏与反馈。