用 Intel 显卡搭内网模型服务:四个组件的选型
把「内网可用」拆成推理引擎、网关鉴权、可观测、模型分发四层,每层给出候选与取舍标准,并给出一套 12GB 单卡起步的最小组合、可执行的启动配置与三步扩容路径。
「内网能跑」和「内网能用」之间差着四层东西。很多人把模型跑起来、浏览器里能对话,就认为服务搭好了;等到第二个人要接入、第三个人问「为什么昨天回答得不一样」、第四个部门要审计调用记录时,才发现缺的不是模型。
把这件事拆成四层看会清楚很多:推理引擎决定能力和并发上限,网关决定谁能用、能用多少,可观测决定出问题时能不能定位,模型分发决定三个月后还能不能复现今天的输出。每一层都有两三个可选方案,取舍标准比方案本身更重要。
一、推理引擎:先按并发选,再按模型选
同一张 Intel 卡上,四条路线的差异不在支持哪些模型,在怎么处理并发。
| 引擎 | 后端 | 连续批处理 | 多卡 | 量化支持面 | 适合 |
|---|---|---|---|---|---|
| llama.cpp | SYCL(需 oneAPI)或 Vulkan | 无 | 层切,SYCL 不支持 row 切分 | GGUF 全系 | 单用户、离线、低并发 |
| vLLM | XPU(仅 Linux,Python 3.12) | 有 | 张量并行,需 --disable-custom-all-reduce | 取决于 XPU 原生 kernel | 多人共用、要吞吐 |
| SGLang | XPU | 有 | 张量并行,需固定通信网卡 | fp8、mxfp4 MoE、GPTQ、AWQ、W4A16 | 要前缀缓存、Agent 工作流 |
| Ollama | Vulkan | 有(内部走 llama.cpp) | 自动分层 | GGUF | 最省事的起步 |
取舍的第一个问题是并发人数。一个人用,或者一天几十次调用,llama.cpp 完全够,而且它是 Windows 上最省事的一条——不需要额外运行时就能跑 GPU。
三个人以上同时用、或者有 Agent 在循环调用,就该考虑 vLLM 或 SGLang——原因不是它们更快,是它们会把多个请求拼成一批前向,卡才不会空转。
四条路线里,Ollama 的定位最容易搞混。它是一个服务端,不是客户端;Ollama 是什么里把这个分工讲得比较清楚。它最适合的场景是「一个人、一台机器、几个模型随时切换」,而不是多人共用的服务端。
第二个问题是量化。这一点在 Intel 上比在 N 卡上关键得多。第三方在四卡 B60 上跑商业服务时记录过一个坑:vLLM 的 XPU 后端只服务有原生 XPU kernel 的量化格式,gpt-oss 的 MXFP4 可以,其他量化 MoE 的专家层会被路由到 Marlin——那是 NVIDIA 的 kernel,直接 device_capability 报错。
SGLang 的 XPU 文档把支持面列得更细(v0.5.22 在 B70 上验证):fp8、mxfp4 MoE、GPTQ、AWQ、compressed-tensors 的 W4A16 可用,AutoRound 的非对称路径会返回 200 但输出退化成一串重复词。选型时先确认你要用的那个量化 checkpoint 有没有人验证过,比对比引擎参数更有用。
第三个问题是多卡。Intel 平台的张量并行通信开销大、故障域是整机,能按模型分卡就别用 TP。
部署形态:容器还是裸机
这一项不影响能力,但影响你后面三个月的维护成本。
裸机的优势是简单:llama.cpp 的预编译包解压即用,Windows 和 Linux 都不用装运行时。代价是版本漂移——同一台机器上装两套框架,容易把 oneAPI 的库路径搞乱。
容器的优势是隔离:每个框架带自己的运行时,互不干扰。Intel 的官方镜像和技能脚本都用容器,启动时要带三个参数——--device /dev/dri、/dev/dri/by-path 的挂载、--group-add 加 render 组。不需要 --privileged,这一点在 B70 上验证过。
还有一个反直觉的点:用 pip 装的 PyTorch wheel 自带运行时,这时候不要再去 source setvars.sh,两边版本撞上会导致随机初始化失败。
二、网关与鉴权:不是加个 key 就完事
网关这一层最容易被简化成「在服务端加个 --api-key」。它能挡住扫描器,但挡不住别的:不能按调用方配额、不能吊销单个客户端、不能区分模型、也没有请求级的审计。
三个候选的定位差别很大。
| 方案 | TLS | 鉴权 | 限流 | 多模型路由 | 按 key 计费 |
|---|---|---|---|---|---|
| nginx | 有 | Basic / mTLS / 子请求 | 有(limit_req) | 手写 location | 无 |
| Caddy | 自动签发 | Basic / forward_auth | 需插件 | 手写 | 无 |
| LiteLLM Proxy | 有 | 虚拟 key | 有 | 有 | 有 |
只做网络边界,Caddy 最省事:一条域名配置自动拿证书,basic_auth 三行就能加人。它的短板是限流要装插件,日志格式也不如 nginx 灵活。
要限流、要细粒度访问日志、要和现有 nginx 复用同一套证书和上游配置,选 nginx。它的 limit_req 按 IP 或按 key 限速,日志格式能精确到上游耗时,这两点是 Caddy 比不了的。
要按人分配额度、要在多个模型之间做路由和降级、要统计每个团队的 token 消耗,才需要 LiteLLM Proxy。代价是它本身是一个服务,有自己的数据库和 key 管理,等于多了一个要备份、要监控、要升级的组件。小团队常常高估自己需要它的程度。
key 的生命周期也要一起设计。至少做到一人一 key,而不是全团队共用一个;离职或换项目时能单独吊销;key 的权限和它能访问的模型绑定。共用 key 的后果是审计日志里全是同一个身份,出了问题查不下去。
一个常被忽略的取舍:网关放在哪。放在同一台机器上,127.0.0.1 直连最简单;放在另一台机器上,推理端口就必须对内网可达,这时候前一层的内网隔离要配合做,不能只靠回环绑定。
三、可观测:先定四个指标,再谈工具
可观测最容易变成「装一套 Prometheus + Grafana,然后没人看」。有用的做法是先定指标,再选工具。
四个够用的指标:首 token 延迟(TTFT)、每 token 间隔(TPOT)、队列里等待的请求数、显存占用率。前两个决定体验,后两个决定你什么时候需要加卡。
| 数据源 | 提供什么 | 开启方式 |
|---|---|---|
vLLM /metrics | 请求数、队列、TTFT/TPOT 直方图、KV 缓存使用率 | 默认暴露 |
llama-server /metrics | 槽位状态、token 统计 | 启动加 --metrics |
xpu-smi | 显存占用、利用率、温度、功耗 | 装 OMIX 后直接调 |
| 反代日志 | 谁、何时、哪个模型、状态码、耗时 | nginx 自定义 log_format |
显存监控单独说一句,因为它是 Intel 平台上最容易误判的一项。xpu-smi discovery 能看到几张卡,xpu-smi dump -m 18 能看每张卡的显存计数——多卡场景下用它确认负载是均衡的,比看总利用率有用。
# 每 5 秒采样一次显存
watch -n 5 'xpu-smi dump -m 18'
日志侧不用一上来就上 Loki 或 ELK。一个按天轮转的文件加 logrotate,配上「只记元数据不记 prompt 全文」的规矩,能撑很久。
要不要上 Grafana,判断标准很朴素:如果出问题时你会去看面板,就装;如果出问题时你只会 docker logs 和 xpu-smi,那面板只是心理安慰。
如果要接 Prometheus,抓取配置很短,难的是阈值定在哪:
scrape_configs:
- job_name: llm
scrape_interval: 15s
static_configs:
- targets: ["127.0.0.1:8000"]
阈值建议从「队列持续大于 0 超过一分钟」「KV 缓存使用率超过 0.9」这两条开始,其余先只看不报警。报警项开太多,最后一定会被静音。
还有一条经验:健康检查通过不等于服务可用。Intel 的多卡文档里记录过一个典型现象——SGLang 的 TP 服务能正常启动、/v1/models 也返回 200,但第一个推理请求永远不返回。监控如果只探 /v1/models,会认为一切正常。探活要发一次真实的短补全请求,验证返回内容不为空。
四、模型分发与版本管理:核心是可复现
这一层最不出彩,但它是「三个月后能不能复现今天的输出」的唯一保障。
三个候选,按规模递增:
| 方案 | 机制 | 适合 | 风险 |
|---|---|---|---|
| 本地目录 + 清单文件 | GGUF/safetensors 放固定路径,写 sha256 | 单机、少量模型 | 换机器要重新拷 |
| 内网对象存储(MinIO/S3) | 统一桶、版本前缀 | 多机、多模型 | 要自己维护 |
| Hugging Face 缓存 + 锁定 revision | revision 固定 commit | 用 safetensors 的引擎 | 需能访问或预热缓存 |
关键动作是「锁 revision」,不是「下载最新」。Hugging Face 上的模型仓库会被作者更新,同一个名字在不同时间拉到的是不同权重。用 revision 指定 commit hash,才谈得上复现。
离线环境要把缓存固化下来,两个环境变量缺一不可:
export HF_HOME=/srv/models/hf
export HF_HUB_OFFLINE=1
export TRANSFORMERS_OFFLINE=1
# 预先把指定 commit 拉到本地缓存(有网时执行一次)
hf download Qwen/Qwen3-8B --revision <commit-hash>
只用 HF_HOME 不够。vLLM 在离线场景下仍可能尝试访问 Hub,两个 offline 开关加上去才会强制读缓存——这一点在 Intel 的技能文档里被单独列成一条「offline-cache gotcha」。
GGUF 路线更简单,但也更需要自己管校验:
# models/manifest.txt
qwen3-8b-q4km.gguf sha256:9f2c... ctx=32768 ngl=99
qwen3-14b-q4km.gguf sha256:41ab... ctx=16384 ngl=99
启动脚本从 manifest 读参数,而不是把 -c 8192 写死在命令行里。这样换机器、回滚版本时,参数不会漂。
12GB 单卡的最小可用组合
假设手上是一张 12GB 的 Arc 独显(B580 这一档),目标是一个十人以内的小团队在内网用。
| 层 | 选择 | 理由 |
|---|---|---|
| 引擎 | llama.cpp SYCL 预编译包 | 不用装 oneAPI,Windows/Linux 都行 |
| 模型 | 7B–14B,Q4_K_M | 14B Q4 约 9GB(估算),留 3GB 给 KV |
| 网关 | Caddy + basic_auth | 一条配置搞定 TLS 和鉴权 |
| 可观测 | xpu-smi + JSON 访问日志 | 两个命令,零额外组件 |
| 分发 | 本地 models/ 目录 + sha256 清单 | 单机不需要对象存储 |
启动长这样(Linux;Windows 把路径和 --host 换掉即可)。预编译包和自编译的区别,主要在要不要自己装 oneAPI 和编译工具链,怎么选里有对照:
llama-server \
-m /srv/models/qwen3-14b-q4km.gguf \
-ngl 99 -c 16384 --flash-attn on \
--host 127.0.0.1 --port 8080 \
--api-key "$(cat /etc/llm/api.key)" \
--metrics --no-ui
Caddy 放在前面,只暴露 443:
llm.lan.example.com {
basic_auth {
team $2a$14$替换成 caddy hash-password 的输出
}
reverse_proxy 127.0.0.1:8080
}
这套组合的能力边界要提前说清:14B Q4 在 12GB 卡上属于能跑但不宽裕。按 14B 的权重加 16K 上下文的 KV 推算,并发到两三个人就会开始排队;llama.cpp 没有连续批处理,人越多单路越慢。它的价值是「今天就能用、出问题能自己查」,不是「撑住一个部门」。
27B 这一档在 12GB 上不用试,权重加 KV 会直接越界。真要上,先换到 24GB 档再谈。
什么时候不值得自建
这一节和前四层是反的,但必须放进来。如果日调用量不高,自建的唯一理由是数据不出门,不是省钱。硬件折旧、电费、加上「出问题要有人管」的时间,摊到每次调用上,很难打过按 token 计费。
真正值得自建的只有三种情况:数据不能出内网(合规、合同、病历这类硬约束);调用量大到 API 账单持续超过硬件折旧;需要用私有模型或做微调。
这三种之外,把预算花在网关、知识库和提示词上,模型直接走 API,通常更快见效。自建是一笔长期投入,不是一个可以随时撤掉的实验。
扩容路径:三步,每步只换一层
第一步,换引擎,不换卡。人多了以后 llama.cpp 的排队会变成主要矛盾,这时把同一个模型换成 vLLM 或 SGLang,吞吐能上一个台阶。代价是要上 Linux、要固定 Python 3.12、要接受量化格式的限制。这一步不需要买硬件。
第二步,加卡,按模型分卡。第二张卡不是用来加速第一个模型的,是用来跑第二个模型的——embedding、rerank,或者一个更小的对话模型。这样扩容不影响现有服务,也不会引入张量并行的调试成本。
如果服务的目标是一个内网知识库,模型只是其中一半,检索和文档处理是另一半。AnythingLLM 的离线部署里能看到这两半怎么接起来,也能看清哪些工作其实不需要 GPU。
第三步,换平台,上四卡。到这一步才需要考虑 Xeon 平台、PCIe 通道、功耗和机箱。判断依据是「权重 + KV + 峰值并发」三项相加超过 48GB,而不是「感觉该升级了」。
每一步之间都该有一段时间的观察期。扩容的正确触发条件是队列深度持续超过阈值,不是老板说模型不够大。
怎么判断这套够不够用
三个数就够:
并发到 3 人时,TPOT 是否还在可接受范围(对话场景 100ms 以内算流畅,200ms 开始能感觉到);队列深度在高峰时是否长期大于 0(长期大于 0 说明卡已经满了);显存占用是否稳定在 80% 以下(长期贴着上限,下一次长上下文请求就会 OOM)。
三个数里有两个不达标,就该动引擎或加卡。都达标却还想升级,那通常不是容量问题。
最后一句关于选型的判断:这四层里,只有第一层和显卡强相关,其余三层换成 N 卡也一模一样。
所以在 Intel 上搭服务的真正成本,是接受第一层的各种限制——量化格式、Linux、oneAPI 版本,以及少一个数量级的社区案例。后面三层反而是最成熟、最容易照搬的部分,不用在这里重复造轮子。
这也是本文把大半篇幅放在引擎和边界上的原因:另外三层在任何平台上都能找到现成答案,只有第一层,Intel 这边还得自己踩一遍。
登录后可点赞、收藏与反馈。