个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 摩尔线程技术博客、SGLang-MUSA 官方文档、Ollama 仓库 MUSA 支持 PR

在 MTT S80 上跑通第一个模型:驱动、容器与三个验证点

官方 Ollama 安装包里没有 MUSA 运行时,装上能出字但显卡占用为 0。这篇给出摩尔线程 MTT S80 的三条本地部署路线,并附三个自查点,确认模型真的跑在 GPU 上而不是回落到 CPU。

2026年11月18日 10 小时前 作者 站长 约 6 分钟 3 阅读

一张摩尔线程 MTT S80 装完驱动,跑 ollama run 能出字,但显卡占用一直是 0——它其实在拿 CPU 跑。 这个现象在 S80 上极其常见,原因不是配置错了,而是官方 Ollama 安装包里根本没有 MUSA 的运行时。

这篇只做一件事:把 S80 从「驱动装好」推到「确认在 GPU 上出 token」。三条可用路线逐条给命令,最后给三个能自己判断真假的验证点。命令全部来自摩尔线程官方文档与仓库,不掺个人发明。

一、动手前先确认三件事

顺序不能反,任何一步不过,后面都是白折腾。

1. 系统必须是 Ubuntu 22.04。 MUSA SDK 的版本说明把验证组合写死了:Intel 平台 + Ubuntu 22.04 + MTT S80。这不是「推荐」,是「只测过这个」。Debian 12、Ubuntu 24.04 上有人装成过,但那属于自己承担风险的范围。

2. 卡要被系统认到。 装完 MUSA 驱动后跑:

mthreads-gmi

这个工具相当于 nvidia-smi。输出里应当能看到设备名(S80)、显存总量(16384MiB 一档)、驱动版本与 MUSA 版本。看不到卡就先别往下走,那是驱动层的问题。mthreads-gmi -L 会用 UUID 形式列出设备,多卡或混合显卡环境里指定设备时要用到它。

3. MUSA SDK 版本要和驱动对上。 开发者平台的下载页目前列到 MUSA SDK 5.2.0,而很多教程引用的是 rc3.1.1(2025 年初的社区版,明确支持 S80 上跑 DeepSeek R1 蒸馏模型)。版本不必最新,但必须和驱动匹配,装错版本最常见的结果是 libmusa.so 加载失败,或者跑起来直接回落 CPU。

二、三条可用路线

三条路共用一个前提:容器运行时。MUSA 的卡要在容器里用,需要 MT Container Toolkit(当前 v1.9.0),装完执行官方给的注册命令:

(cd /usr/bin/musa && sudo ./docker setup $PWD)
docker info | grep mthreads

输出里应该出现 Default Runtime: mthreads。如果还是 runc,容器里的进程看不到卡,后面必然回落 CPU。

MTT S80 三条部署路线与验证点

路线 A:llama.cpp 的 MUSA 镜像

这是目前最少踩坑的一条,镜像由 llama.cpp 官方仓库构建,依赖已经打进去了。先验证链路通不通,别一上来就上 14B:

docker pull ghcr.io/ggerganov/llama.cpp:light-musa

export MODEL_DIR=$HOME/models
mkdir -p $MODEL_DIR

把任意一个 1B–3B 的 Q8_0 GGUF 放进 $MODEL_DIR。官方示例用的是 llama3.2:1B 的 q8_0,体积不到 1.5GB,下载快、加载快,专门用来验证「卡通不通」。

docker run -it -v $HOME/models:/models ghcr.io/ggerganov/llama.cpp:light-musa \
  -m /models/<你的模型文件名>.gguf -ngl 999 -n 512 -cnv

四个参数的意义:-ngl 999 是把 999 层都 offload 到 GPU,写 999 是「有多少放多少」的惯用写法,实际层数由模型决定;-n 512 限制生成 512 个 token,验证够用;-cnv 是对话模式;-v 把宿主机模型目录挂进容器,避免每次重下。

镜像标签会随仓库更新,light-musa 之外还有别的构建,拉之前先去仓库确认当前可用标签,别照着半年前的教程写死。

路线 B:Ollama 的 MUSA 镜像

想要 Ollama 那套模型管理和 API,就得换镜像。原因前面说过:官网的安装包没有 MUSA runner。能用的是厂商与社区构建的版本,标签形如 mthreads/ollama:<版本>-musa:

docker run --env OLLAMA_DEBUG=1 -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama-musa \
  mthreads/ollama:<当前 musa 标签>

三点必须注意:

  1. 标签要现查。 这类镜像跟着上游版本 rebuild,半年前的标签对应的 Ollama 版本可能已经不认识新模型架构。
  2. OLLAMA_DEBUG=1 要开。 日志会打印检测到哪些 GPU、加载了哪个 runner,这是确认它没走 CPU 的唯一入口。
  3. 多卡或混合显卡要指定设备。 MUSA 侧用的是 MUSA_VISIBLE_DEVICES,值是逗号分隔的 ID;顺序可能变化,用 mthreads-gmi -L 拿到的 UUID 更可靠。想强制走 CPU 做速度对比,就把它设成一个无效值。

路线 C:SGLang-MUSA / vLLM-MUSA

这条路是给 M1000 那档硬件准备的。官方 SGLang-MUSA 文档第一句就写「建议使用 64GB 显存的模组设备」,示例模型是 Qwen3-30B-A3B 的 GPTQ-Int4。放到 16GB 的 S80 上,模型本身都装不下。

它的价值在于让你看清官方部署形态:

python3 -m sglang.launch_server \
  --model-path ~/models/Qwen3-30B-A3B-GPTQ-Int4/ \
  --quantization moe_wna16 \
  --mem-fraction-static 0.9 \
  --max-running-requests 1 \
  --max-total-tokens 16384

逐项读:--mem-fraction-static 0.9 预占九成显存给权重和 KV cache;--max-running-requests 1 是单请求并发;--max-total-tokens 16384 把总 token 预算压在一万六。三项组合起来说明一件事——这套配置的目标是「一张卡稳定服务一个业务」,不是「一张卡扛多并发」。

文档还要求启动前先预编译 TileLang kernel(脚本在 scripts/ci/musa/tilelang_precompile/),否则首次推理会触发运行中编译,启动时间会难看得多。同机器同版本只需做一次。消费级 S80 走这条路,问题不在折腾,在显存。

三、三个验证点与失败排查

这一步比装环境重要。国产卡上「看着在跑、其实在用 CPU」的情况太普遍,靠体感判断会误判。

验证点 1:容器里能不能看到卡。

docker run --rm --gpus all <镜像> mthreads-gmi

容器内 mthreads-gmi 有输出才算设备透传成功。空输出就是 runtime 没生效,回到运行时那一步。

验证点 2:日志里加载的是哪个 runner。 Ollama 开 OLLAMA_DEBUG=1 后,启动日志会写明检测到的 GPU 与选用的库;llama.cpp 启动时会打印后端初始化信息。看到 musa 字样才算数,只看到 cpu / avx2 就是回落了。

验证点 3:速度与占用对得上。 两个数字交叉看:生成速度(tok/s)和 mthreads-gmi 里的显存占用。真正在卡上跑,显存占用会稳定在接近模型体积的数值(14B Q4 大约 10GB 上下),速度在 6–14 tok/s 量级;回落 CPU 时,显存占用接近 0,速度掉到个位数以下,CPU 占用拉满。

失败现象基本只有三种,对应三个层面,按这个顺序查,别乱试:

现象层面先看什么
mthreads-gmi 无输出驱动 / 内核驱动是否装完、设备权限、是否需要重新加载内核模块
宿主机能看到卡,容器里看不到容器运行时docker info 的 Default Runtime 是否为 mthreads
能跑但速度明显不对引擎启动日志加载的是 musa 还是 cpu;-ngl 是否给了足够大的值

三条都不通,再回头查系统版本与 MUSA SDK 的匹配——Ubuntu 22.04 之外的系统,官方没有任何验证记录。

四、结论

S80 跑本地模型的现实是这样的:Linux + 容器是唯一被验证过的路径,Windows 上只有驱动层、没有计算栈。 走通之后它能给你 7B 的流畅、14B 的可用,代价是要接受一套 2024 年形态的工具链,以及一个官方文档里不存在的后端。

如果你的卡还没买、正在纠结这张 16GB 值不值,先看这篇:国产卡当天适配 Kimi K3.1,700 块的 S80 为什么跑不了,那里算的是账,不是命令。

如果在同一台机器上还想跑图像生成,摩尔线程这边的路径比文本更薄,别指望一套环境通吃——AMD 那边的情况可以参考 AMD 显卡跑 ComfyUI 做对照。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →