SGLang 在 Arc B 系列上跑:并发压测与显存预留
SGLang 对 Intel 的支持是「按卡型加按模型清单」的,本文逐条核对官方承诺范围,给出源码与镜像安装命令、mem-fraction-static 与 page size 的取舍,以及一套不编数字的并发压测方法与指标口径。
SGLang 官方对 Intel 的表述只有一句话,但这句话里有两个限定词值得逐字读:优化对象是「Intel Arc Pro B 系列和 Arc B 系列」,优化模型是「Llama 系列、Qwen 系列,以及 FLUX、Z-Image 这类扩散模型」。清单之外没有承诺。
这句话决定了接下来所有讨论的边界。网上把 SGLang XPU 说成「支持 Intel 显卡」,省略掉的正是这两层限定:不是所有 Intel GPU,也不是所有模型。想把 SGLang 用在 B580 或 B60 上,先确认模型在不在那句名单里。
结论先给:Llama 和 Qwen 这两个系列是官方点名优化的范围,可以直接试;其中 Qwen2.5-1.5B、Llama-3.2-3B 这类小参数标识符在早期文档里被列为 B580 上验证过。跑别的架构属于「可能有路,但没有性能承诺」,要先压测再上线。
SGLang 在 XPU 上的真正优势是 RadixAttention 的前缀复用,多轮对话和共享系统提示的场景收益明显;单轮短请求的差距不大。
官方承诺到哪一步
| 项目 | 官方状态 | 说明 |
|---|---|---|
| 硬件 | 已优化 | Arc Pro B 系列、Arc B 系列(Xe2 / BMG 架构) |
| 模型 | 部分优化 | Llama 系列、Qwen 系列、FLUX、Z-Image |
| 安装方式 | 仅源码 + 镜像 | 「Currently SGLang XPU only supports installation from source」 |
| 注意力后端 | 有专用实现 | --attention-backend intel_xpu,page size 支持 32/64/128 |
| MXFP4 MoE | 有限支持 | 仅 Xe2/BMG;只覆盖 fused MoE experts |
| 两批重叠调度 | 不支持 | --enable-two-batch-overlap 在 XPU 上不可用 |
| XPU Graph | 实验性,默认关 | decode / prefill 都要显式开启 |
| torch.compile | 停止维护 | 文档原话「out of maintenance and might cause error」 |
早期版本的文档里有一张更细的表,逐条列了在 B580 上验证过的模型:Llama-3.2-3B、Llama-3.1-8B、Qwen2.5-1.5B。这张表后来被「Llama 系列 / Qwen 系列」的概括表述取代了,范围看起来变宽,但可核对的点变少了。
我的建议是把它当两条信息用:概括表述说明方向,历史表格说明「小参数档位确实跑通过」。要上一个 30B 级别的 Qwen3,历史表格给不了任何保证,得自己在目标卡上压一遍。
名单短是有原因的。intel_xpu 这个注意力后端是 Intel 和 SGLang 一起做的专用实现,它要跟模型的注意力结构、位置编码、KV 布局逐一对上。
Llama 和 Qwen 用的是标准的多头 / 分组查询注意力加 RoPE,一套实现能覆盖;换成滑动窗口、MLA(多头潜在注意力)、混合专家路由,就得另写。扩散模型能进来,是因为 SGLang 把 diffusion 当成独立的一条产品线,走的是另一套调度。
MXFP4 那一条值得单独说,因为它是 SGLang XPU 少有的、能明确算出收益的特性。原生 MXFP4 MoE 权重在 Intel GPU 上通过 sgl-kernel-xpu 的 W4A16 grouped GEMM 直接跑,专家权重保持打包布局,全程不反量化到 BF16。官方给的数字是:GPT-OSS-20B 加载约 13GB,而不是 BF16 上采样后需要的约 42GB——这是它能在单张 24GB 卡上跑起来的原因。
代价写在限制里:只有 fused MoE 的专家层是 4bit,注意力、路由、embedding 和 LM head 仍然是 BF16;激活也是 BF16;专家并行在这条路径上「尚未验证」。换句话说,13GB 是这套混合精度的总和,不是「整个模型 4bit」。
装与起:只有源码和镜像两条路
源码安装的前置比 vLLM 还多一个:官方步骤里要先装 Rust。少了 cargo,构建会在编译扩展的阶段中断,而且报错位置离根因很远。
apt-get update && apt-get install -y curl protobuf-compiler
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y
source "$HOME/.cargo/env"
pip install uv
uv venv --python 3.12 sgl-xpu
source sgl-xpu/bin/activate
# xgrammar 会带进 CUDA 版 triton,必须 --no-deps 装
uv pip install xgrammar==0.1.33 --no-deps
git clone https://github.com/sgl-project/sglang.git
cd sglang && git checkout <目标版本>
cd python && cp pyproject_xpu.toml pyproject.toml
uv pip install -v ".[dev,diffusion]"
cp pyproject_xpu.toml pyproject.toml 这一步不能跳。默认的 pyproject.toml 指向 CUDA 版的 torch,装下去会把 +xpu 的栈覆盖掉,症状是 import sglang 成功但 torch.xpu.is_available() 返回 False。
--no-deps 也不能省。xgrammar 的依赖里带 triton(无后缀,CUDA 版),和 XPU 的 triton 冲突,装上去以后表现是推理结果错乱而不是报错,这类问题最难查。
镜像路径简单些,官方镜像的 tag 以 xpu 结尾。
docker pull lmsysorg/sglang:v0.5.23-xpu
docker run -it --privileged --ipc=host --network=host \
--group-add $(getent group video | cut -d: -f3) \
--device /dev/dri -v /dev/dri/by-path:/dev/dri/by-path \
-v /dev/shm:/dev/shm \
-v ~/.cache/huggingface:/root/.cache/huggingface \
-p 30000:30000 sglang-xpu:latest /bin/bash
--group-add video 容易漏。少了它,容器里能看到 /dev/dri 但打不开 render 节点,报的是权限错误而不是设备缺失。
起服务的最小命令:
sglang serve \
--model-path Qwen/Qwen2.5-7B-Instruct \
--trust-remote-code \
--device xpu \
--attention-backend intel_xpu \
--page-size 64 \
--host 127.0.0.1 --port 30000
--device xpu 是必须的,不传会按 CUDA 初始化然后失败。--attention-backend intel_xpu 是 Intel 的专用注意力实现,page size 只接受 32、64、128 三个值,其它值会被拒。
多卡加 --tp 2。B 系列单卡是 12GB,两张卡做张量并行能放下 14B 级别的 BF16 模型,但通信走 PCIe,吞吐提升远小于 2 倍。
显存预留与并发下的行为
--mem-fraction-static 是这里最该理解的一个参数。它控制的是「模型权重 + KV cache 池」合计能占多少比例的显存,默认不设时按「(GPU 内存 − 保留内存) / GPU 内存」自动计算,无法检测显存时兜底 0.88。
这个语义和 vLLM 的 gpu-memory-utilization 相似但不等价。vLLM 那项只约束模型执行器,SGLang 这项把权重也算进去了,所以调低它同时会压缩权重之外的一切空间。
预留多少算合适
12GB 卡上,桌面和驱动先拿走 1.2GB 左右,实际可用约 10.5GB。7B BF16 模型权重约 15GB,放不下;换 4B 或更小的档位才谈得上。
这里有个需要自己校正的地方。早期文档在 B580 的验证列表里同时列了 Qwen2.5-1.5B、Llama-3.2-3B 和 Llama-3.1-8B,但 8B 的 BF16 权重约 16GB,单张 12GB 卡物理上放不下。那一行大概率是在双卡或量化条件下验证的,文档没有写测试条件。把它当成「模型标识符可用」而不是「单卡可跑」,才不会踩空。
KV 这笔账反而没那么紧。Qwen2.5-7B 是 28 层、4 个 KV 头、head_dim 128,fp16 下每 token 约 56KiB,8K 上下文就是 448MiB。和 15GB 的权重比,KV 只占 3%,显存估算表里的口径也是这么算的。所以 B 系列上限制模型大小的从来不是上下文,是权重精度。
这个判断会改变调参顺序。看到 OOM 先去降 --context-length 是错的——降一半只省 200MB,权重一动就是几个 GB。正确的做法是换量化档位或者加卡。
这也是为什么 B580 上的现实配置集中在小参数模型:不是算力不够,是 BF16 权重放不下。想跑 8B,要么 --tp 2,要么走量化路径。
预留太低会在两个地方出问题。一是长 prompt 的 prefill 阶段,激活峰值超过池子上限,直接 OOM;二是并发上来后 KV 池被占满,调度器开始排队,表现为 TTFT 突然跳升而不是报错。
第二种情况更常见,也更值得监控。KV 池打满时 SGLang 不会崩,它会把请求挂起等空闲 block,这时候吞吐看起来还行,但尾延迟崩了。
--max-total-tokens 是一个更直接的锚点。不想靠比例估算,可以直接指定池子能装多少 token,调试阶段用它比调比例快。
page size 与碎片
--page-size 在 SGLang 默认是 1,但 intel_xpu 后端只支持 32、64、128。page 越大,块表越短、管理开销越小;page 越大,末尾浪费也越大——一个只要 10 个 token 的请求也要占满一个 page。
64 是这三档里的折中。长 prompt 多的场景往 128 走,短请求多的场景往 32 走。这个选择对吞吐的影响是渐进的,不会出现「换一个值性能翻倍」的情况。
并发上升时看什么
并发从 1 加到 32,最先变化的是 TTFT,不是输出速度。因为 prefill 要排队,而 decode 是每个请求一步、总步数由最长的那条决定。这是连续批处理(continuous batching)的固有特征,不是 XPU 特有的。
第二个变化点是 chunked prefill。默认不设 --chunked-prefill-size 时,长 prompt 一次性 prefill,激活峰值很高;设成 4096 会把它切成小块,峰值降下来,代价是首字延迟略增。24GB 卡上跑 30B 级别模型时,这一项经常是「能起」和「起不来」的分界。
第三个才是吞吐。在 KV 池打满之前,输出 token 吞吐随并发近似线性上升;打满之后变平,再加并发只是把延迟拉长。
压测:方法与指标口径
SGLang 自带的压测脚本在 2026 年的文档里叫 python -m sglang.benchmark.serving,旧版本叫 sglang.bench_serving。两个名字都见过,以你装的版本为准,用错会报模块不存在。
python -m sglang.benchmark.serving \
--backend sglang \
--host 127.0.0.1 --port 30000 \
--model Qwen/Qwen2.5-7B-Instruct \
--dataset-name random \
--random-input-len 1024 --random-output-len 256 \
--num-prompts 500 \
--request-rate inf --max-concurrency 32
参数里有三个决定结果能不能比:
--request-rate inf 表示所有请求立刻发出,测的是饱和吞吐;设成有限值(比如 8)时按泊松过程到达,测的是「每秒 8 个请求」这个负载下的延迟分布。两种模式的结果不能放在一张表里比。
--random-input-len 和 --random-output-len 固定了每个请求的 token 量。不固定的话,每轮的输入分布都不一样,吞吐数字没有可比性。加 --random-range-ratio 0.5 可以让长度在 ±50% 内浮动,模拟真实分布。
--max-concurrency 是并发上限,和 request-rate 一起决定压力形态。只设 concurrency 不设 rate,等于「尽可能快地发,但同时最多 N 个在飞」。
它输出的指标要按口径读:
| 指标 | 含义 | 什么时候看 |
|---|---|---|
| Request throughput (req/s) | 每秒完成的请求数 | 容量规划 |
| Output token throughput (tok/s) | 每秒生成的 token | 和显卡算力挂钩,最稳定 |
| TTFT (ms) | 首字延迟,均值 / 中位 / p99 | 交互体验,并发上升时先恶化 |
| ITL (ms) | 相邻流式块间隔 | 流式输出的顺滑度 |
| TPOT (ms) | (总延迟 − TTFT) / (token 数 − 1) | 单请求的生成速度 |
| Concurrency | 所有请求耗时之和 / 墙钟时间 | 实际达到的并发度 |
--flush-cache 要加上。它会在预热后调用 /flush_cache 清空前缀缓存,否则第二轮压测会命中第一轮留下的 KV,吞吐凭空变高。这一点在 RadixAttention 上尤其明显,因为前缀复用正是它的强项。
如果服务有明确的延迟目标,加 --goodput ttft:500 tpot:50。它会额外输出「满足 SLO 的请求占比」和「达标吞吐」,失败请求算作未达标。对生产容量规划,这个数比峰值吞吐有用得多——峰值吞吐往往是在延迟已经不可接受的情况下测出来的。
怎么设计一组有意义的测试
不要只跑一个并发点。至少跑 1、8、32、64 四档,把 TTFT 的均值和 p99 画出来。拐点出现在哪一档,就是这张卡在这套配置下的实际容量。
固定模型和长度,只改并发。这样得到的曲线描述的是「调度器和 KV 池的行为」,不是「模型难易」。
再跑一组对照:同样并发下,开和不开 --chunked-prefill-size 4096。如果 TTFT 差异明显而吞吐差异不大,说明瓶颈在 prefill 的激活峰值上,加大 page size 或降 batch 都可能有帮助。
最后,任何数字都要带上测试条件:模型、量化档位、输入输出长度、并发、mem-fraction-static、page size、驱动版本。少一项,这个数字就没法复现,也没法跟别人的比。
与 vLLM 的取舍
| 维度 | SGLang XPU | vLLM XPU |
|---|---|---|
| 模型覆盖 | 官方点名 Llama / Qwen / 扩散模型 | llm-scaler 矩阵列了几十个模型,含多模态 |
| 安装 | 仅源码 + 官方镜像 | wheel、源码、官方镜像、llm-scaler 镜像 |
| 量化 | MXFP4 MoE(仅 Xe2,仅专家层) | FP8、INT4 在线量化、GPTQ,另有 MXFP4 |
| 前缀复用 | RadixAttention,默认策略的一部分 | prefix caching,需显式开启 |
| 两批重叠 | 不支持 | 视版本而定 |
| 图捕获 | XPU Graph 实验性,默认关 | 有对应开关,--enforce-eager 是稳妥选择 |
选择逻辑可以简化成两句。模型在 SGLang 的名单里、且场景是多轮对话或共享长系统提示,选 SGLang,前缀复用的收益能直接看到。模型不在名单里、或者需要 INT4/FP8 量化把大模型塞进小卡,选 vLLM——它的量化路径和模型覆盖都更宽。
前缀复用的收益值得具体化。多轮对话里,系统提示和前面几轮的内容是重复的,RadixAttention 把它们对应的 KV 块留在池子里,新一轮只需 prefill 新增部分。上下文越长、轮次越多,省下的比例越大。单轮短请求没有可复用的前缀,这项优势归零。
卡越大概率越明显。24GB 档位上要跑 27B 级模型,权重就吃掉大半,KV 池只剩几个 GB,前缀复用等于把有限的池子用得更省,这也是24GB 卡跑 27B那类场景里调度器差异被放大的原因。
如果两个都不满足,回到 llama.cpp 的 SYCL 或 Vulkan 后端。它没有 continuous batching 的调度器,但模型格式支持最全,GGUF 生态里的量化档位也最多。
怎么判断这套配置能不能上线
先跑通再压测。用 --max-model-len 4096 的小上下文把服务起来,curl 一次确认出结果,再逐步加长度。一上来就配 32K 加高并发,失败的现场只有一行 OOM。
盯三个数。KV 池用量(日志里会打)、TTFT 的 p99、输出 token 吞吐。池子长期贴着上限说明预留偏低,TTFT 的 p99 是均值的 5 倍以上说明排队严重,吞吐在加并发后不再上升说明已经饱和。
做一次反向验证:把 --mem-fraction-static 从默认值降 0.1,重跑同一组压测。如果吞吐几乎不变而 TTFT 变差,说明原来的配置本来就过剩,可以往下调换更长的上下文;如果直接 OOM,说明原值已经贴着极限,别再动。
最后提醒一句:SGLang XPU 的很多能力标着实验性或未验证,包括 XPU Graph、P/D 分离、专家并行。这些开关打开后如果性能反而下降,不要急着归因于硬件——先关掉再测一遍,实验性功能的默认关闭状态通常是经过权衡的。
登录后可点赞、收藏与反馈。