用 Intel 显卡搭 RAG:embedding 与 rerank 的显存怎么分
把 RAG 链路上的 embedding、rerank、生成三类模型拆开算显存,给出 12GB 与 16GB 卡的四种分配方案,说明 batch 与序列长度对编码吞吐的影响,并附一套可直接运行的最小服务组合。
RAG 的显存账,和「跑一个大模型」不是同一道题。链条上有三类模型,各自按不同节奏取用显存:embedding 只在切片入库和查询时跑,rerank 只在查询路径上跑,生成模型却要一直占着 KV cache 不动。三者抢一张卡时,先被牺牲的总是上下文长度。
结论先给:在 12GB 的 Arc B580 上,embedding 加 rerank 的权重合计约 2.3GB,加上两个 OpenVINO 运行时约 3.1GB;生成模型 7B Q4 配 8K 上下文的常驻需求约 5.9GB。全部放 GPU 加起来 9.0GB,能站住,但只剩不到 1GB 余量。想把生成模型换成 14B,必须把 rerank 挪到 CPU。
16GB 卡(比如 Arc A770 16GB)才有余量做「三个都常驻」:14B Q4 加 8K 上下文占 9.9GB,两个编码器占 3.1GB,合计 13.0GB,压在上限附近。再多开一档 batch,就会开始交换。
下面把这三类模型的显存拆开算,再给两档卡的具体分法,最后给一套能直接跑起来的最小组合。
三类模型各自吃多少
先看权重,这是唯一能提前算准的部分。下表数字来自模型卡与 safetensors 索引,不是估算。
| 模型 | 参数量 | 输出维度 | 最大长度 | fp16 权重 | fp32 权重 |
|---|---|---|---|---|---|
| BAAI/bge-m3 | 567.8M | 1024 | 8192 | 1.14GB | 2.27GB |
| BAAI/bge-reranker-v2-m3 | 567.8M | 打分 | 512(卡上示例) | 1.14GB | 2.27GB |
| Qwen3-Embedding-0.6B | 595.8M | 1024 | 32K | 约 1.1GB | — |
| Qwen3-Reranker-0.6B | 595.8M | 打分 | 32K | 约 1.1GB | — |
| Qwen3-Embedding-4B | 4.0B | 2560 | 32K | 约 7.5GB | — |
| Qwen3-Embedding-8B | 7.6B | 4096 | 32K | 约 14.1GB | — |
这张表最该注意的是最后两行。4B 和 8B 的 embedding 已经不算「小模型」,8B 的 14.1GB 权重在 12GB 卡上根本放不下,在 16GB 卡上也只能独占。真正的性价比区间是 0.6B 到 1B 这一档,权重一 GB 出头,和生成模型共存没有压力。
第二件要注意的是维度。1024 维的 bge-m3 和 4096 维的 Qwen3-Embedding-8B,在向量库里的存储差四倍。1000 万条切片、fp32 存储,1024 维是 40.96GB,4096 维是 163.84GB。这部分不在显存里,但会决定你要不要给向量库单独留内存。
第三件是 rerank 的长度语义。cross-encoder 的输入是「query + 文档」拼在一起,不是文档单独进去。所以它的实际序列长度是两者之和,候选集有 50 条就要跑 50 次前向。这一点决定了 rerank 的显存峰值和 embedding 完全不是一个形态。
顺手把切片规模的账也算一下,它决定了入库要跑多久。1000 万字的中文资料,按 512 字切片,大约 2 万条;每条 1024 维 fp16 向量占 2KB,向量库总共 40MB。这个体量对显存毫无压力,压力全在「2 万次编码」这一次性任务上。
所以入库和查询应该分开设计。入库是批处理,可以开到显存上限去换吞吐,跑完就释放;查询是常驻服务,要留余量给并发。把两者混在一个进程里,就会出现「入库时把生成模型挤掉」这种问题。
权重之外:激活和 token 预算
权重是静态的,激活是动态的,后者才是 OOM 的常见来源。encoder 类模型的激活占用大致正比于 batch × 序列长度 × 隐藏维度,而注意力矩阵正比于序列长度的平方。
这个平方关系值得算一次。同样处理 8192 个 token:一条 8192 长的输入,注意力矩阵是 8192² ≈ 6710 万个元素;拆成 16 条 512 长的输入,是 16 × 512² ≈ 419 万个元素。前者是后者的 16 倍。
也就是说,「一次塞长文档」和「分片后批量处理」,token 总量相同,算力和中间激活差一个数量级。很多人把 bge-m3 的 8192 上限当成卖点去用,结果发现吞吐掉得厉害,原因就在这里。
同一个机制在 batch 维度上表现为 padding 浪费。一个 batch 里 20 条切片长度在 200 到 800 之间浮动时,tokenizer 会把它们全部 pad 到 800。实际有效 token 可能只有一半,另一半是白算的。切片的长度分布越集中,batch 效率越高。
这也是为什么工程上更推荐用「token 预算」而不是「条数」来控制 batch。设定一个 8192 token 的上限,然后按长度装箱,比固定 batch_size=32 稳定得多。bge-m3 在 512 token、装箱填满的情况下,显存占用和固定条数相比可以差出接近一倍。
装箱有个低成本做法:按 token 长度排序后顺序切块,每块累计不超过预算,块内 pad 到块内最长。这样 padding 从「向全局最长看齐」变成「向块内最长看齐」,长度分布越分散,收益越大。
长度也要跟切片策略一起定。512 字切片的检索召回通常好于 2048 字,但条数多四倍,入库时间也长四倍。bge-m3 支持 8192,不代表应该切 8192——长切片里混多个主题,向量会被平均掉,检索反而变差。2048 是一个折中值,再长就该考虑分层检索。
序列长度对解码侧的影响则是另一套逻辑。生成模型是自回归的,KV cache 随上下文线性增长,与 batch 无关;embedding 是编码器,激活随 batch × 长度增长,与历史无关。同一个「长度」参数,在两类模型上意味着完全不同的东西。
这说明一件事:调 embedding 的 batch 和调生成的上下文,不能用同一套直觉。前者要控制的是瞬时峰值,后者要控制的是常驻总量。
rerank 侧的预算算法不一样。一次查询要打分 top_k 条候选,每条的长度是 query 加文档。50 条候选、每条约 500 token,单次查询就是 2.5 万 token 的前向——相当于一次 embedding 请求的 50 倍。这解释了为什么 rerank 明明是「小模型」,却经常是查询路径上最慢的一步。
12GB 与 16GB 的四种分法
先统一口径。12GB 显存的实际可用不是 12,而是 11.18GiB;Windows 桌面合成、浏览器、驱动常驻再拿走约 0.7GiB,运行时缓冲 0.5GiB,规划时按 10.0GiB 算最稳。Linux 无桌面环境大约 10.5GiB。这个口径和站内显存估算表一致,便于横向对比。
| 方案 | 常驻 GPU | 按需加载 | 生成模型容量 | 总占用 | 适用 |
|---|---|---|---|---|---|
| A 查询密集 | embedding + rerank | 生成 | 7B Q4 + 8K | 约 9.0GiB | 文档已入库,日常问答 |
| B 生成常驻 | 生成 | embedding 按需,rerank 上 CPU | 7B Q4 + 16K | 约 9.4GiB | 长对话为主,入库离线跑 |
| C 全压 int8 | embedding + rerank(int8) | 生成 | 7B Q4 + 8K | 约 8.1GiB | 想留余量给桌面 |
| D 16GB 全常驻 | 三者 | — | 14B Q4 + 8K | 约 13.0GiB | 单机全链路 |
方案 A 是多数人的默认。两个编码器加起来 2.3GB 权重,两个 OpenVINO 运行时各 0.4GB 上下,合计 3.1GiB;生成侧 7B Q4 权重 4.36GiB、8K KV 约 1.5GiB,合计 5.9GiB。9.0GiB 落在 10.0GiB 以内,留 1GiB 吸收 batch 峰值。
方案 B 把顺序倒过来。生成模型占 7.36GiB(4.36 权重 + 3.0 KV,16K 上下文),embedding 在查询时临时加载 1.1GB 权重加激活,rerank 交给 CPU。bge-reranker-v2-m3 是 5.67 亿参数的 encoder,CPU 上跑 50 条候选在一个请求的延迟量级内可以接受,代价是并发上来以后队列会堆积。
方案 C 靠量化省空间。用 NNCF 做权重量化,bge-m3 和 reranker 各能压到 0.6GB 上下,两个加起来 1.2GB,比 fp16 省一半。代价是检索质量会有可测量的下降,尤其是短 query 匹配长文档这种场景,上生产前要用自己的评测集验一遍。
把 rerank 挪到 CPU 这件事,判据比想象中清晰。rerank 只在查询路径出现,一次请求打分 20 到 100 条,属于「短时高频小算力」。
bge-reranker-v2-m3 是 5.67 亿参数的编码器,CPU 上单条前向在几十毫秒量级。50 条候选串行就是两秒左右,批量并行还能再压。这个延迟对离线问答可以接受,对交互式搜索就不行。
所以 12GB 卡上真正的取舍是:把 1.14GB 显存换成 1 到 2 秒的首字延迟。愿意换,方案 B 就能成立;不愿意换,就留在方案 A,接受只剩 1GB 余量。
让核显分担一部分
如果机器是 Core Ultra 加 Arc 独显的组合,还有一个常被忽略的选项:把 embedding 和 rerank 放到核显上。OpenVINO 的 device="GPU" 会选择它检测到的 Intel GPU,多设备时可以用 "GPU.0"、"GPU.1" 明确指定,具体索引用 openvino.Core().get_available_devices() 查。
核显的算力跑 5.67 亿参数的编码器是够的,代价是它和 CPU 共享内存带宽。查询路径上 embedding 只处理一条 query,rerank 处理几十条候选,这个负载量级核显完全能吃下。结果是独显的 3.1GB 全部释放给生成模型,12GB 卡当场变成「7B Q4 + 16K 上下文」的配置。
这条路的前提是核显和独显在同一个 OpenVINO 运行时里可见,且驱动版本一致。两者都满足时,它的性价比高于把 rerank 丢到 CPU——延迟差不多,但不会抢 CPU 的核。
方案 D 是 16GB 卡才成立的组合。14B Q4 权重 8.37GiB、8K KV 1.5GiB,加重编码器 3.1GiB,合计 13.0GiB,对 14GiB 出头的可用预算来说余量只有 1GiB。这 1GiB 要同时吸收 embedding 的 batch 峰值和生成时的分配碎片,实际上很紧。
判断自己该选哪个,看两个比值。入库频率高于查询频率,就把 embedding 放 GPU、生成按需;查询频率高且要求首字延迟,就把生成常驻、rerank 下 CPU。两个都高,说明该加卡或者换到 16GB。
还有一个前提容易被跳过:上面所有数字都假设驱动报告的可用显存接近物理容量。Intel 的 Windows 驱动会把「共享 GPU 内存」也算进总量,任务管理器里看到的数字偏大。以 xpu-smi 报的专用显存为准,误差通常在一两百 MB,恰好是方案 A 那点余量的量级。
Linux 下的差别在运行时。无桌面环境时省下的 0.7GiB 看起来不多,但对 14B 那档就是「能开 8K」和「只能开 4K」的区别。容器里跑还要再算一层:/dev/dri 透传后,容器内看到的是同一块物理显存,宿主机上其他进程照样占着。
一段能跑的最小组合
生成侧用 llama.cpp 的 OpenAI 兼容服务,编码器侧用 OpenVINO GenAI 的两个 pipeline。两者都绑定 127.0.0.1,不要默认 0.0.0.0——本地服务暴露到公网是最常见的一类事故,端口和鉴权的处理方式在离线知识库部署里有一份可参考的清单。
先导出模型。OpenVINO 的导出任务类型要选对:embedding 用 feature-extraction,cross-encoder reranker 用 text-classification。
pip install openvino-genai "optimum-intel[openvino]"
optimum-cli export openvino --task feature-extraction \
--model BAAI/bge-m3 bge-m3-ov
optimum-cli export openvino --task text-classification \
--model BAAI/bge-reranker-v2-m3 bge-reranker-ov
再起生成服务。Windows 上把可执行文件换成 llama-server.exe,参数不变;预编译包要确认带 Vulkan 或 SYCL 后端,纯 CPU 包加了 -ngl 也没用,选包的口径见预编译包与自编译的区别。
llama-server -m qwen2.5-7b-instruct-q4_k_m.gguf \
-ngl 99 -c 8192 -fa on \
--cache-type-k q8_0 --cache-type-v q8_0 \
--host 127.0.0.1 --port 8080
最后把两个编码器包成一个进程。下面这段可以直接跑,device="GPU" 就是 Intel 显卡,OpenVINO 的命名里 GPU 指它检测到的 Intel 集显或 Arc 独显,不是 NVIDIA。
import httpx, openvino_genai as ov_genai
from fastapi import FastAPI
from pydantic import BaseModel
app = FastAPI()
emb = ov_genai.TextEmbeddingPipeline("bge-m3-ov", "GPU", normalize=True)
rr = ov_genai.TextRerankPipeline("bge-reranker-ov", "GPU", top_n=5)
class Req(BaseModel):
input: list[str]
@app.post("/v1/embeddings")
def embeddings(req: Req):
vecs = emb.embed_documents(req.input)
return {"data": [{"index": i, "embedding": v.tolist()}
for i, v in enumerate(vecs)]}
@app.post("/rerank")
def rerank(q: str, docs: list[str]):
return [{"index": i, "score": s} for i, s in rr.rerank(q, docs)]
@app.post("/ask")
def ask(q: str, docs: list[str]):
ctx = "\n\n".join(docs[i] for i, _ in rr.rerank(q, docs))
r = httpx.post("http://127.0.0.1:8080/v1/chat/completions", json={
"model": "local",
"messages": [{"role": "user", "content": f"{ctx}\n\n问题:{q}"}],
}, timeout=120)
return r.json()
三个服务串起来以后,显存的实际分布是:生成进程拿 5.9GB 上下,编码器进程拿 3GB 上下,其余是驱动和桌面。这个分布可以直接用 xpu-smi 或者任务管理器的「专用 GPU 内存」核对。
怎么验证自己分对了
第一步看谁在涨。跑一次入库(纯 embedding),观察显存峰值;再跑一次查询(embedding + rerank + 生成),观察峰值。如果两次峰值接近,说明 batch 开得太大,激活吃掉了本该留给 KV 的空间;如果查询峰值明显高于入库,那是 rerank 的候选集太长。
第二步看 OOM 出现在哪个阶段。加载权重时 OOM,是模型选大了;KV cache 初始化时 OOM,是 -c 或 --max-model-len 开大了;跑到一半 OOM,是并发或 batch 峰值没留够。三种情况的解法完全不同,日志里的阶段名是唯一可靠的线索。
第三步反向验证一次:把 rerank 手动挪到 CPU(OpenVINO 里把 device 改成 "CPU"),看查询延迟涨多少。如果涨幅在你能接受的范围,那 1.14GB 显存就白省了——这是 12GB 卡上最划算的一笔交易。
还有一个容易忽略的点:embedding 和 rerank 同时常驻时,OpenVINO 会为每个 pipeline 各保留一份编译后的 blob 和图结构,这部分不在权重里,但确实占显存。同一进程里加载两个模型的峰值,比分别加载再相加要高一些,规划时按 3.1GiB 而不是 2.3GiB 算比较安全。
想连续观察,用 Intel 的 xpu-smi 比任务管理器细。xpu-smi stats -d 0 能按秒打出显存占用和引擎利用率,把它和请求日志对时间轴,就能看出峰值是 embedding 的 batch 造成的,还是生成长上下文造成的。任务管理器的「专用 GPU 内存」刷新慢,抓不住几百毫秒的峰值。
最后给一个判断阈值。如果查询时显存峰值距离上限不足 500MB,说明分配器已经在贴着边缘工作,驱动会频繁回收,表现是「平时正常,偶发一次卡顿」。这时候与其调参数,不如把 rerank 挪走——它的 1.14GB 正好能把这个缺口补上。
登录后可点赞、收藏与反馈。