Intel 推理服务默认绑 0.0.0.0:一个不该默认开启的端口
框架的默认监听地址本来是回环,是启动脚本和端口发布把它推到了所有网卡。从局域网、云安全组到容器映射拆开暴露面,说明算力盗用与数据外泄的实际损失,并给出五个可执行的收紧动作。
端口本身没有漏洞。--host 0.0.0.0 是一行完全合法的启动参数,-p 8000:8000 是 Docker 文档里的标准写法。问题在于这两个动作被写进了「照抄就能跑」的默认脚本,而脚本的使用场景通常是一台连着公司内网、装着模型权重、还存着数据目录的机器。
这篇要回答的是三件事:这类服务实际暴露到了哪一层;被未授权调用之后,损失具体是什么;以及在不牺牲可用性的前提下,把它收回去的最小改动是什么。
默认值本身是安全的,危险的是脚本
先把事实分开。主流推理框架自己给的默认监听地址,基本都是回环。
| 栈 | 框架默认监听 | 端口 | Intel 技能脚本里的写法 | 最终暴露 |
|---|---|---|---|---|
| llama.cpp(SYCL) | 127.0.0.1 | 9931 | -p 8000:8080 + --host 0.0.0.0 --port 8080 | 宿主所有网卡的 8000 |
| SGLang(XPU) | 127.0.0.1 | 30000 | --network host + --host 0.0.0.0 --port 30000 | 宿主所有网卡的 30000 |
| vLLM(XPU) | --host 未指定时按通配地址处理 | 8000 | -p 8000:8000 | 宿主所有网卡的 8000 |
| Ollama | 127.0.0.1 | 11434 | — | 仅本机 |
前三行的「最终暴露」不是框架的锅,是启动方式和端口发布方式叠加出来的结果。llama-server 的默认端口在 2026 年的版本里已经改成 9931,默认绑定 127.0.0.1;SGLang 的 --host 默认值也是 127.0.0.1。两个都把安全默认值做对了。
Ollama 是这套体系里唯一默认就收得很紧的,它的服务端与客户端分工,在Ollama 是什么里讲得更细。
真正的问题出在 Intel 2026 年开源的那套 Agent Skills(intel/gpu-ai-skills,Apache-2.0,22 个技能)。它的目标是让编码 Agent 能自己把模型跑起来,所以脚本必须写成「在任何机器上都能连通」——于是 --host 0.0.0.0 和 --network host 成了合理选择。三个服务技能的启动行里,没有任何一个带 --api-key。
这不是 Intel 独有的问题,但它把问题放大了:一个 Agent 读完 SKILL.md 就直接执行,中间没有人会停下来想「这条命令会把端口开到哪」。技能包本身在文档里提示了 --trust-remote-code 是安全开关、默认不加,这一步做得对;监听地址这一项没有同等级别的提示。
暴露面有三层,中间一层最容易被忽略
第一层是绑定地址。0.0.0.0 的含义是「这台机器上所有网卡」,包括有线、无线、VPN 虚拟网卡、Docker 网桥。你以为只开给了同事,实际上开给了同一台机器能触及的所有网络。
第二层是网络可达性,这一层经常被误判。家里或办公室的机器,192.168.x.x:8000 对同网段所有设备可见,包括访客 Wi-Fi、智能电视、打印机。云主机更直接:安全组如果放通了 8000,公网扫描器很快就会扫到——这类服务的特征太明显,/v1/models 一个 GET 就自报家门。
同类问题不只出现在推理服务上,可视化工作流这类自带 Web 界面的工具更容易被默认放开,Langflow 的端口问题是另一个参照。
第三层是容器端口映射。-p 8000:8000 等价于 -p 0.0.0.0:8000:8000,Docker 会把端口发布到宿主所有接口,即使容器内的进程只监听容器自己的网卡。--network host 更彻底,容器直接用宿主网络栈,连 NAT 这一层都没有。
这里有个反直觉的细节:Docker 发布端口是往 iptables 的 DOCKER 链里插规则,不走宿主 INPUT 链。所以在 Ubuntu 上开了 ufw、规则里写着「默认拒绝入站」的机器,-p 8000:8000 照样对外可达。用 ufw 判断「我有没有暴露」,在这个场景下会得到错误答案。
三层叠起来的结果是:一条从 SKILL.md 复制出来的命令,在家用机上等于对整个局域网开放,在云主机上等于对公网开放,而使用者通常以为「我只是在本机跑了个服务」。
这类服务为什么特别容易被找到
推理服务的指纹太好认。端口是固定的几个(8000、8080、30000、11434),GET /v1/models 不需要鉴权就返回一段结构固定的 JSON,GET /health 直接回 200。扫描器不需要理解模型,只要看到这个组合就知道是什么。
这也意味着「改个端口」不算防护。端口扫描的成本已经低到全端口遍历是常规操作,换到 18000 只是让日志更难看,不改变可达性。
真正改变可达性的只有两件事:绑定地址和网络边界。前者是应用层的一个参数,后者是网络层的策略,两者任缺其一,另一项都要独立成立。
被滥用之后,损失是什么
不用把它想成「被入侵」。绝大多数情况没有提权、没有横向移动,只是有人白用了你的卡。但白用本身就有成本。
算力盗用是最直接的一种。一台 12GB 卡上的 7B 模型,单实例每秒能处理的请求数是有上限的;几十个并发请求、每个 max_tokens 开到几千,就能让正常用户排到几十秒之后。
攻击者甚至不需要恶意——一个被误配置的客户端、一个循环重试的脚本,效果一样。卡在满载、电表在转、你的请求在排队。
换算成钱也很直接:这批被白用的 token,如果走 API 大约是什么价位,可以对照同一模型的端点价差。自建的成本没有单价那么直观,但硬件折旧和电费是实打实付出去的。
数据外泄是第二种,路径比想象中短。请求体里是你贴进去的合同、日志、代码;如果前面挂了一个会记录请求体的网关或日志采集,这些东西就同时存在于三个地方。
/v1/models 还会把模型清单和加载路径报出去,等于告诉对方你跑的是什么、用的哪个量化版本。
模型被探测是第三种,成本最低。对方可以用几百个请求摸出系统提示词、能力边界、是否做了内容过滤,再拿这些信息去构造绕过。如果你的服务同时开了工具调用,问题会升级一个量级。
llama.cpp 的 --tools 和 --agent 会在服务端注册 read_file、write_file、exec_shell_command 这类工具,官方 README 明确写了不要在不可信环境启用。一个绑在 0.0.0.0 上、开着 --agent、又没有 API key 的 llama-server,等价于把文件读写和 shell 交给任何能访问这个端口的人。这不是理论风险,是配置组合的直接后果。
还有一条更隐蔽的:--trust-remote-code。它会执行模型仓库里的 Python 代码。SGLang 的技能文档把这一点写成了「安全开关,默认不加」,但如果有人为了跑某个自定义架构的模型加上它,同时又暴露了端口,攻击面就从「调用接口」变成了「在宿主机执行代码」。
加固:五个动作,按性价比排序
一、把发布地址收回来。 这一步改动最小,收益最大。
# 之前
docker run ... -p 8000:8000 vllm/vllm-openai-xpu:latest ...
# 之后:只发布到宿主回环
docker run ... -p 127.0.0.1:8000:8000 vllm/vllm-openai-xpu:latest ...
同时把容器内的监听地址也改成回环:llama.cpp 用 --host 127.0.0.1,SGLang 用 --host 127.0.0.1。两层都收紧,任何一层配置回退都不会立刻变成公网服务。
Windows 上走 Docker Desktop 同理,-p 127.0.0.1:8000:8000 只发布到本机回环;如果想让同网段另一台机器访问,需要显式写这台机器的网卡 IP,而不是图省事用 0.0.0.0。直接跑在 Windows 上的 Ollama 和 LM Studio,默认就只绑本机,不需要额外处理。
去掉 --network host,改用默认 bridge 加显式 -p。多卡张量并行时,有些镜像在 host 网络下会出现集合通信卡死(libfabric 选错网卡),bridge 网络反而更稳。
二、在服务端加 key。 三个栈都支持,成本一行参数。
# vLLM
vllm serve <model> --api-key "$(cat /etc/llm/api.key)"
# llama.cpp
llama-server -m model.gguf --api-key "$(cat /etc/llm/api.key)"
# SGLang
python3 -m sglang.launch_server --model <model> --api-key "$(cat /etc/llm/api.key)"
注意 --api-key 只是「带了这个头就放行」,不区分调用者、不能吊销单个客户端、也没有配额。它挡住的是扫描器,挡不住内鬼。
三、前面放一层反向代理,做鉴权和限流。 这一层才是真正的边界。
# http 段
limit_req_zone $binary_remote_addr zone=llm:10m rate=2r/s;
log_format llm '$remote_addr "$request" $status '
'rt=$request_time urt=$upstream_response_time';
server {
listen 443 ssl;
server_name llm.internal.example.com;
ssl_certificate /etc/nginx/certs/llm.crt;
ssl_certificate_key /etc/nginx/certs/llm.key;
access_log /var/log/nginx/llm.log llm;
location /v1/ {
allow 10.0.0.0/8; # 只放内网段
deny all;
limit_req zone=llm burst=5 nodelay;
limit_req_status 429;
proxy_pass http://127.0.0.1:8000;
proxy_set_header Authorization $http_authorization;
proxy_set_header X-Real-IP $remote_addr;
proxy_read_timeout 300s;
proxy_buffering off; # 流式输出必须关,否则 token 会被攒着
}
location / { return 404; }
}
proxy_buffering off 这一行容易漏。开了缓冲,流式响应会被 nginx 攒成块再转发,前端看到的是「卡住十几秒,然后一次吐一大段」。这不是安全问题,但会让人误以为模型慢。
Caddy 的写法更短,适合没有现成 nginx 的环境:
caddy hash-password --plaintext "$(cat /etc/llm/basic.pass)"
llm.internal.example.com {
basic_auth {
ops $2a$14$替换成上一步的输出
}
reverse_proxy 127.0.0.1:8000
}
Caddy 内置没有限流,需要额外插件。如果限流是硬需求,nginx 更省事。
四、把审计日志留下。 至少四列:谁(IP 或 key 标识)、什么时候、调了哪个模型、用了多少 token。前三个 nginx 的 access log 就有,token 数要应用层给。
vLLM 默认会记录请求(--disable-log-requests 默认关闭),但那只是进程日志,会随容器重建消失。真正要留存的是反代日志,加上定期从响应里取 usage 字段落库。没有这层,出事之后你连「谁在什么时候调了多少」都答不出来。
日志本身也不要装 prompt 全文。需要排查时记长度和哈希就够,把请求体原样落盘,等于把泄露面从接口搬到了日志目录,而日志目录通常权限更松、留存更久。
五、收掉不需要的面。 关掉 Web UI(llama.cpp 的 --no-ui),不要把 /metrics 暴露到反代之外,不启用 --tools / --agent,不加 --trust-remote-code。这几项每一项都在扩大「一个 HTTP 请求能做什么」的边界。
四行对照:多数人只需要第二行
把上面的动作按使用场景排一下,选择会变得简单。
| 场景 | 绑定 | 鉴权 | 代价 |
|---|---|---|---|
| 单机开发调试 | 127.0.0.1 | 不需要 | 别的机器连不上,这是特性 |
| 团队内网共享 | 127.0.0.1 + 反代 | 反代层做 | 多一个进程、一张证书 |
| 跨办公点访问 | 反代 + VPN | mTLS 或 SSO | 要维护 VPN 和证书 |
| 公网 API | 网关 + 配额 | key + 计费 | 需要一整套运营能力 |
大部分人的真实需求是第二行:几个人、几台机器、同一个内网。但实际配置常常落在第二行之外——绑 0.0.0.0、无鉴权、无日志。中间缺的不是技术,是「这件事值得花半小时配一下」的判断。
云主机上的额外一条
安全组不是摆设,但也别指望它。很多人建实例时图省事开 0.0.0.0/0 到所有端口,之后忘了收。
云厂商的默认模板又常常预置一批常用端口,勾选「全部放通」比逐条加规则快得多,代价是事后没人记得自己开过什么。正确做法是只放 443(或公司 VPN 网段),推理端口不写进入站规则。
如果必须在公网提供接口,那就不该用「裸端口 + API key」这套,而应该有网关做认证、配额、审计。网关这一层怎么选,和推理引擎、可观测、模型分发放在一起看才清楚。
怎么确认自己已经暴露
三个检查,五分钟能做完。
# 1. 本机哪些端口在听,绑在哪个地址
ss -lntp | grep -E ':(8000|8080|8081|9931|30000|11434)'
# 2. 容器端口发布到了哪
docker port <container-name>
# 3. 从另一台同网段机器验证(这一步最关键)
curl -s -m 3 http://<这台机器的IP>:8000/v1/models
第一条看 Local Address 列:127.0.0.1:8000 是安全的,0.0.0.0:8000 或 [::]:8000 是对外。第二条如果有 0.0.0.0:8000,说明发布范围没收。第三条能返回 JSON,说明前面两条已经不重要了——服务确实可达。
再补一条自查:curl -s http://<IP>:8000/v1/models 如果返回了模型列表,试试不带任何 header 发一个最短的补全请求。能出 token,就是完全没有鉴权。
下一步
如果只做一件事,做第一件:把 -p 8000:8000 改成 -p 127.0.0.1:8000:8000。它不需要改代码、不需要重启业务逻辑、不会影响本机调试,唯一的变化是别的机器连不上了——而这正是你要的。
第二步再把反代加上。到那时你会发现,鉴权、限流、审计、TLS 其实是一件事的四个面,放在同一层做,比在每个服务里各写一遍可靠得多。
至于「要不要为了内网方便就绑 0.0.0.0」,答案取决于这台机器上还有什么。只跑一个模型、只连自己,绑回环没有额外成本;一旦这台机器同时存着权重、日志、数据集和 API key,那一行参数的代价就不只是「方便」了。
登录后可点赞、收藏与反馈。