个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 摩尔线程 MUSA SDK 文档、Ollama 官方硬件支持页、Kimi K3.1 Pro 开源公告

国产卡当天适配 Kimi K3.1,700 块的 S80 为什么跑不了

Kimi K3.1 Pro 开源当天,海光与摩尔线程都宣布适配,但适配对象是 64GB 模组级数据中心卡。消费级摩尔线程 MTT S80 只有 16GB 显存,本地部署差着 87 倍。这篇算清三笔账:适配对象、显存体积、系统与引擎。

2026年11月18日 10 小时前 作者 站长 约 6 分钟 3 阅读

11 月 4 日,月之暗面把 Kimi K3.1 Pro 的完整权重放了出来:2.8 万亿参数、Apache 2.0 许可、专家层用 MXFP4 量化。同一天,海光 DCU、摩尔线程、阿里云灵骏、浪潮元脑都发了适配公告——「Day-0 支持」这次不是宣传口径,是当天就能跑起来的事实。

于是搜索框里立刻出现了一类新问题:我手上有一张摩尔线程的卡,能不能跑? 二手平台上 MTT S80 已经跌到 600–700 元,16GB 显存,这个价格配上「国产卡当天适配 2.8T 模型」的新闻,很容易让人做出错误判断。

结论先放在这里:新闻里的「适配」和你手里那张 S80,隔着的不是一步两步,是三个不同层面的门槛。 这篇把三笔账算清楚——适配的对象是谁、显存差多少、系统层缺什么——再说这张卡在本地部署里真正的射程。

一、「Day-0 适配」适配的是哪张卡

摩尔线程的显卡不是一张。消费级 MTT S80(春晓核心,4096 个 MUSA 核心、14.7 TFLOPS FP32、16GB GDDR6、PCIe Gen5),服务器侧的 MTT S3000 / S4000(曲院核心),以及数据中心模组 M1000。这三类产品共用一套 MUSA 软件栈,但验证过的组合完全不同。

看官方文档最直接。摩尔线程的 SGLang-MUSA 部署文档(针对 M1000)里写得很清楚:

由于推理对显存占用较高,建议使用 64GB 显存的模组设备。

它给的示例是 Qwen3-30B-A3B 的 GPTQ-Int4 版本,启动参数里 --mem-fraction-static 0.9、--max-running-requests 1——单请求、九成显存预占。这不是给个人开发者调着玩的配置,是给一台机器只服务一个业务的部署形态。

所以「2.8T 模型 Day-0 适配国产卡」这句话,主语是数据中心那一档硬件加对应的软件栈。它证明的是国产 GPU 生态的响应速度,不是消费卡的算力水位。这两件事经常被混在一句话里传播,读的时候要拆开。

二、显存账:2.8T 放在 16GB 上差 87 倍

把参数换算成字节,这件事就没有讨论空间了。

精度每参数字节2.8T 权重体积16GB 能装下的比例
BF162约 5600GB0.3%
FP8 / INT81约 2800GB0.6%
MXFP4(4bit)0.5约 1400GB1.1%
极限 1.58bit约 0.2约 560GB2.9%

Kimi K3(上一代)的权重下载体积是 1.56TB、118 个文件,这个数字站内已经拆过(见 Kimi K3 参数解读)。K3.1 Pro 的总体量在同一量级。即便按最激进的 4bit 算,1400GB ÷ 16GB ≈ 87.5——不是「跑得慢」的问题,是装不进去,任何量化档位都装不进去。

2.8T 参数与 16GB 显存的体积对比

这里有一个反复出现的误解:MoE 的「激活参数」不等于「显存占用」。 K3.1 Pro 每个 token 只激活约 104B 参数,看起来 4bit 下只要 52GB,似乎咬咬牙能 offload 出来。但 MoE 省的是计算量,路由到哪个专家是运行时才知道的,所有专家的权重必须常驻或可快速换入。104B × 0.5 字节 = 52GB,仍然超过 16GB 三倍多,而且这只算了激活部分。

16GB 的真实射程

摩尔线程自己在 2025 年 2 月发过一篇 S80 的本地推理说明,配置写得具体:Ubuntu 22.04、MUSA SDK RC3.1.1、Ollama,模型是 DeepSeek-R1-Distill-Qwen 系列,明确写了「Q4_K_M 量化格式下,16GB 显存可最高支持 DeepSeek-R1-Distill-Qwen-14B」。

按这个口径算显存账,是对的:

  • 14B 的 Q4_K_M 权重约 8.9GB
  • KV cache 按 Qwen2.5-14B 的结构(48 层、8 个 KV 头、头维 128、FP16)约 192KB/token,4K 上下文约 0.8GB,8K 约 1.5GB
  • 运行时与计算缓冲留 1GB 上下

合计 10.2–11.5GB,16GB 装得下,还有余量把上下文开到 16K 左右。这条线和站内算过的 12GB 卡边界(Arc B580 的 12GB 能跑多大模型)是同一套算法,只是分母从 12 变成 16。

速度要看社区实测,官方不给数字。有实测贴给出的口径是:Qwen2.5-7B Q4、4K 上下文约 12 tok/s;14B Q4 掉到 6–7 tok/s。这是单一来源的社区数据,只能当量级参考,不是承诺。 但量级本身有意义:比纯 CPU 快,比同价位的 CUDA 卡慢,属于「能聊天、别指望批量跑」的档位。

一句话概括射程:7B 的 Q4/Q8 舒服,14B 的 Q4 可用,32B 别想。

三、比显存更硬的两道限制

显存是算得清的账,下面两条是算不清的。

系统:官方 AI 链路只认 Ubuntu 22.04

MUSA SDK 的下载页在 rc3.1.1 版本说明里把支持范围写死了:

1. Intel 平台 + Ubuntu 22.04 + MTT S80
2. 海光三号平台 + Ubuntu 22.04 + MTT X300(BETA)

也就是说,官方验证过的 AI 计算组合里,Windows 不在列。Windows 上能装驱动、能用 PES 控制中心、能玩游戏,但没有对应的计算栈给你跑 PyTorch 或推理引擎。

对比 Intel Arc 的处理方式就很明显:Intel 在 Windows 上有过 IPEX-LLM(现已归档)、有 Vulkan 后端的 llama.cpp,用户至少有一条开箱即用的路。摩尔线程在 Windows 上目前没有等价物。想跑模型,得准备一台 Ubuntu 22.04 的机器,或者双系统。

引擎:Ollama 官方文档里没有 MUSA

这是最容易踩的一个坑。Ollama 的官方硬件支持页面(docs.ollama.com/gpu)列了四类后端:NVIDIA(CUDA)、AMD Radeon(ROCm v7)、Metal(Apple)、Vulkan(Windows/Linux 通用)。

没有摩尔线程,也没有 MUSA 这一节。

后果很具体:你在 Ubuntu 上装官方 Ollama,ollama run 能出结果,但那张卡全程 0% 占用,风扇都不转——它在用 CPU 跑。日志里没有任何报错,因为你没做错什么,只是这个二进制里没有 MUSA 的 runner。

能跑的是社区与厂商构建的版本:Ollama 仓库里有一个从 2024 年 11 月提交、至今未合并的 MUSA 支持 PR(#7554),对应分支构建出的镜像标签形如 mthreads/ollama:<版本>-musa。摩尔线程官方新闻里说「llama.cpp / ollama 引擎在 MTT S80 上高效运行」,指的就是这些自建镜像,不是官网那个安装包。

同样的情况出现在 vLLM 上:上游 vLLM 的 GPU 安装文档只列 NVIDIA CUDA、AMD ROCm、Intel XPU 三个后端,MUSA 走的是厂商分支。想要 vLLM 的完整功能,得用摩尔线程维护的版本,而它的验证目标同样是 M1000 那一档。

四、这 700 块值不值,以及结论

价格口径先说清楚:有实测贴提到全新卡京东标价 1499 元、二手 600–700 元,这是 2026 年中的观察,行情会变,下单前自己核一遍。

值得买的三类人:

  1. 做 MUSA 开发、需要一个真机练手的人。这卡的价值在「能跑 MUSA 代码」,不在「能跑大模型」。
  2. 预算卡在千元内、只想跑 7B 级模型聊天的人。同价位二手 6GB 卡装不下 14B,这张卡能。
  3. 愿意为国产 GPU 生态付学费、并且有时间折腾的人——驱动与工具链的坑是真实存在的。

不该买的三类人:

  1. 想跑 32B 以上、或者想跑最新旗舰开源模型的。显存不够,这条路没有绕法。
  2. 把本地推理当生产力工具、要求开箱即用的。Windows 不支持计算栈,Linux 下也要自己配容器运行时。
  3. 想用 vLLM / SGLang 做多并发服务的。那些路径的验证目标是服务器卡。

把三笔账合起来看:「国产卡 Day-0 适配 2.8T 模型」是真的,「700 块的 S80 能跑 2.8T 模型」是假的。 前者说的是生态响应速度,后者需要的是 1.4TB 显存。

如果你的目标就是让这张卡跑起来一个 7B 或 14B,具体怎么装驱动、怎么配容器、怎么验证它真的用上了 GPU,写在另一篇:在 MTT S80 上跑通第一个模型。

如果你的卡是 AMD 的 RDNA2,路线完全不同,别照这篇做——RX 6000 跑本地大模型 里那四条路才是对应的。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →