个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 美团 LongCat-2.5 模型卡 / SGLang-FluentLLM 部署文档

开源大模型私有化部署:1.6T 要多少卡、能不能商用

以 LongCat-2.5 的公开数据为例,把私有化部署算成可核对的三笔账:权重要多少张卡、194 张卡为什么拆成 2/64/128、88.4 与 38.5 两张卷子怎么读,以及 MIT 协议管不到的三项成本。

2026年11月16日 57 分钟前 作者 站长 约 7 分钟 4 阅读

美团把 LongCat-2.5 的权重放出来了:1.6 万亿参数,MIT 协议,官方示例用 194 张昇腾卡跑通。消息传开之后,问得最多的不是它有多强,而是两句话——我这套机器要多少张卡,这个协议能不能直接商用。

这篇不评价强弱,只把这两句话算成能核对的数字。

第一笔:权重先压到 1.34 TB,再谈卡

下载页有两个仓库,体积差 2.66 倍。BF16 全精度约 3.56 TB,W4A4 量化版约 1.34 TB。这个差别直接决定你第一批要买多少卡。

权重版本仓库体积64GB 卡下限80GB 卡下限
W4A41.34 TB21 张17 张
BF163.56 TB56 张45 张

「下限」的口径要说清楚:单卡显存按 100% 可用于权重来算,不留 KV 缓存、不留激活值、不留通信 buffer,也不做任何冗余。真实部署一定比这个数大,所以它只用来做否决——先看自己手里的机器过不过这一关。

按这个算法,8 张 80GB 卡一共 640GB,连 W4A4 的一半都不到。这一关过不去,后面所有讨论都没有意义。

量化版不只是为了省显存。官方压测里,W4A4 相对 W8A8 基线的 prefill 吞吐高 43.3%,decode 吞吐高 42.77%,首字延迟低 15.91%。同一个模型,用对版本等于白拿四成吞吐。

但 21 张不是答案。官方示例是 194 张,正好是 21 的 9.2 倍。中间那 173 张卡不是浪费,是 KV 缓存、并行度和 P/D 分离三件事的代价。

四种权重版本所需显卡数量与官方 194 卡参考部署的对比

第二笔:194 张卡是并行度的乘积,不是显存除法

官方给的是 EPD 分离部署:Encoder 2 卡、Prefill 64 卡、Decode 128 卡,P/D 单机 16 卡。

角色卡数并行配置干什么
Encoder2TP = 2把图像转成离散 token,结果缓存
Prefill644 机 × 16 卡,PP8 × TP8一次读完长输入
Decode1288 机 × 16 卡,KVP8 × DP16,EP128逐 token 生成

三个数字都不是买出来的,是算出来的。

Prefill 的 64 = PP8 × TP8。先把流水线切成 8 段、张量切 8 份,卡数就被定成 64。少买一台机器只剩 48 卡,PP 或 TP 就得改,改完要么切不整齐,要么跨机通信量上去。

Decode 的 128 = KVP8 × DP16。16 组数据并行,每组 8 卡做 KV 并行,128 张卡刚好铺满 8 台机器。专家并行放在整个解码池上,EP = 128。

Encoder 是 2 卡 TP2 的独立 HTTP 服务,端口 9101,输出格式 rvq_indices。

为什么不混跑:prefill 是把几万到上百万 token 一口气读完,吃算力峰值;decode 是一个 token 一个 token 往外吐,吃显存带宽和 KV 容量。

混在一批卡上,长输入会把短输出堵在队列里。官方把 66% 的卡全给 decode,因为生成阶段才是用户真正等待的地方。

LongCat-2.5 的 EPD 分离部署:Encoder 2 卡、Prefill 64 卡、Decode 128 卡

真正花时间的不是买卡,是下面这几件事:

  • 12 台机器(4 台 Prefill、8 台 Decode),单机 16 卡
  • 版本必须成套:Ascend HDK 25.0.RC1.1(或配套 CANN 9.0.0)、Python 3.11、PyTorch 2.9,torch_npu 与 torchair 要对得上号
  • flash-npu-kernel 得自己编:先出 CANN 自定义算子 .run 包,再装 flash_ops 和 flash_npu_kernel 两个 wheel,它们是两个包,只装一个不算完
  • 节点顺序写死在脚本里:iplist 前 8 个是 Decode,后 4 个是 Prefill,顺序错了服务起不来
  • 网络要通三条路:Encoder 的 HTTP、编码结果回传、P/D 之间的 KV 传输

先把变量写对,再用 DRY_RUN 预演一遍,确认每台机器会收到什么命令:

export MODEL_PATH=/data/meituan-longcat/LongCat-2.5-W4A4
export ENCODER_URLS=http://encoder-node0:9101
export iplist="decode-node0 decode-node1 decode-node2 decode-node3 \
decode-node4 decode-node5 decode-node6 decode-node7 \
prefill-node0 prefill-node1 prefill-node2 prefill-node3"
export testpath=/data/longcat25

DRY_RUN=1 bash npu_test/flash26b/run_pro_w4a4kv8_mm_epd.sh start
bash npu_test/flash26b/run_pro_w4a4kv8_mm_epd.sh code
bash npu_test/flash26b/run_pro_w4a4kv8_mm_epd.sh start

起来之后先看三个健康检查,再用一条最小的对话请求打通链路。MiniLB 在最后一个 Prefill 节点上,端口 8081:

curl --fail http://encoder-node0:9101/health
curl --fail http://prefill-node0:6080/health
curl --fail http://decode-node0:6080/health

curl -X POST http://prefill-node3:8081/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"LongCat-2.5","messages":[{"role":"user","content":"用一句话解释 EPD 分离"}],"max_tokens":256}'

服务端打印 The server is fired up and ready to roll! 只代表进程活着,三条 health 全 200 才代表链路通。这一步做完,你才有资格谈它好不好用。

第三笔:88.4 和 38.5 是两张卷子

基准LongCat-2.0LongCat-2.5Opus 5
Terminal Bench v2.170.888.489.1
Terminal Bench v4.03.038.553.9
DeepSWE v1.19.764.6未列
Program Bench(Almost)2.525.537.0

同一代模型,两张卷子的涨幅差十倍:v2.1 从 70.8 涨到 88.4,是 1.25 倍;v4.0 从 3.0 涨到 38.5,是 12.8 倍。这说明 v2.1 已经饱和——旧题被训进去了,分数贴着天花板,看不出真实差距。

对 Opus 5 的差距也是两套数:v2.1 只差 0.7 分,v4.0 差 15.4 分。通稿用的是前者,选型要看后者。

Program Bench 的 Almost Resolved 是 25.5,高于 GPT-5.6 Sol 的 23.0,低于 Opus 5 的 37.0。这条最能说明它的位置:不是第一梯队,是中上。

有两个限定必须说。截至 11 月 15 日,没有任何第三方实验室给出独立分数,Artificial Analysis 上没有它的页面,OpenRouter 上还只有 2.0。表里所有数字都是美团自测。模型卡自己给未加星的成绩标了 indicative only——厂商愿意写这句话,比多考两分更有价值。

落到选型上,按任务分比按总分分更靠谱:

任务依据建议
界面还原、截图改前端Vision2Web 78.6,Opus 5 为 80.2可以用,这是它最接近第一梯队的地方
联网查资料、多步研究BrowseComp 91.9,MCP Atlas 83.1强项,优先试
终端装环境、改配置TB v4.0 38.5,Opus 5 为 53.9简单任务可用,复杂排障别指望
大型遗留仓库重构DeepSWE 64.6先拿自己的仓库做小样本对比

第四笔:MIT 管许可,不管账单

MIT 给了什么:权重可商用、可修改、可再分发、可二次训练,不需要向美团申请授权。不给什么:商标权和专利权。这条边界对绝大多数团队够用,要和别的开源模型对比着看,可以参照智谱和 DeepSeek 的开源不是一种开里那套口径。

MIT 管不到的第一项,是价格没有到期日。API 现在 $0.30/百万输入、$1.20/百万输出,缓存输入 $0.006,1M 上下文、单次最多 256K 输出。定价页标的是限时优惠,没写结束时间,也没写正价。上一代 LongCat-2.0 的正价是 $0.75/$2.95。做预算按正价留余量,别按促销价签长约。

第二项是自建的打平量。按 194 卡、3:1 的输入输出比、$0.525/百万 token 的混合价折算:

单卡价月成本打平所需月用量
5 万元31.5 万元844 亿 token
10 万元58.4 万元1567 亿 token
20 万元112.3 万元3013 亿 token

单卡 10 万元、3 年折旧、电费 0.8 元/度、单卡 400W 的假设下,每月要跑 1567 亿 token 才追平托管账单。这个量级只有平台方和云厂商够得着。

中小团队自建 194 卡,买的不是省钱,是数据不出域——和换 Kitesurf 前先过四道关里算无头浏览器那笔是同一个道理:开源自建不比托管便宜。

第三项是可移植性。官方只给昇腾路径:代码在 SGLang-FluentLLM 的 longcat-2.5-npu 分支,依赖 CANN 和 torch_npu,没有任何 NVIDIA 部署指引,也没有 GGUF 文件,llama.cpp 和 Ollama 现阶段跑不了。手里是 H100 的团队,要么自己移植,要么等社区。

如果只是想在业务里用,API 同时收 OpenAI 和 Anthropic 两种格式,改个 base_url 和 key 就能接进现有工具,试的成本几乎为零。对绝大多数团队,这一条比自建划算得多。

采购前先问五个问题。 权重是 BF16 还是 W4A4,两者差 2.66 倍显存;PP、TP、DP、KVP 能不能整除到你现有的卡数,除不尽就要重买;有没有第三方分数,厂商自测只能当参考;许可覆盖到哪一步,权重、商标、专利是三件事;促销价什么时候结束,没有正价的报价进不了年度预算。

这五个问题答完,你大概会得出一个不太好听但省钱的结论:1.6 万亿参数的模型开源了,能商用的是许可,不是你的机房。先用 API 把场景跑通,等用量真的到了千亿 token 一个月,再谈买卡。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →