个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 DeepSeek-R1 蒸馏模型卡、GGUF 仓库体积、llama.cpp 文档

DeepSeek-R1 蒸馏版部署到 Arc:可行路线与速度预期

先说清 R1 蒸馏版是 Qwen2.5 与 Llama 3 底座的微调模型,不是 R1 本体;再按真实 GGUF 体积给出 7B、8B、14B、32B 在 12GB、16GB、24GB 卡上的可行档位,并说明推理模型为何被输出长度拖住。

2026年11月18日 13 小时前 作者 站长 约 11 分钟 4 阅读

「DeepSeek-R1 蒸馏版」这个名字容易让人以为它是 R1 压缩后的版本。不是。它是拿 R1 生成的 80 万条推理样本,去微调 Qwen2.5 和 Llama 3 的小模型;底座换了,参数量少了两个数量级,学到的是推理的写法,不是 R1 的能力。

这个区别决定了它在 Arc 上的定位:7B 到 32B 的稠密模型,显存需求和同尺寸普通模型一样,但生成 token 数是后者的几倍。装得下只是第一步,等得起才是关键。

先认清是哪几个模型

DeepSeek 官方开源的蒸馏版一共六个:1.5B、7B、8B、14B、32B、70B。底座在模型卡里写得很明确,7B 用的是 Qwen2.5-Math-7B,8B 用 Llama-3.1-8B,14B 用 Qwen2.5-14B,32B 用 Qwen2.5-32B。

型号底座层数 / KV 头Q4_K_MQ6_KQ8_0
R1-Distill-Qwen-7BQwen2.5-Math-7B28 / 44.686.258.10
R1-Distill-Llama-8BLlama-3.1-8B32 / 84.926.608.54
R1-Distill-Qwen-14BQwen2.5-14B48 / 88.9912.1215.70
R1-Distill-Qwen-32BQwen2.5-32B64 / 819.8526.8934.82

体积取自 unsloth/DeepSeek-R1-Distill-*-GGUF 仓库的实际字节数。7B 的 Q4_K_M 是 4.68GB,比 Qwen3-8B 的 5.03GB 还小,原因是底座本身更小:28 层、hidden 3584,而 Qwen3-8B 是 36 层、hidden 4096。

这里有个反直觉的地方:7B 和 8B 体积接近,速度也接近,但 8B(Llama 底座)的 KV 开销是 7B 的两倍多——32 层对 28 层、8 个 KV 头对 4 个。长上下文场景下,7B 反而更省。

至于 R1 本体,它是 671B 总参数、37B 激活的 MoE,128K 上下文。4 bit 量化也在几百 GB 量级,Arc 单卡不在讨论范围内。看到「本地部署 R1」的说法,先确认对方说的是本体还是蒸馏版。

蒸馏学到的是写法,不是能力

这一点值得单独说,因为它决定了你该对它抱多大期望。

蒸馏的做法是:让 R1 在大量题目上生成完整的思考过程,再用这些「题目 + 思考 + 答案」去监督微调小模型。小模型学到的是「先拆条件、再列式子、最后验算」这套流程,以及在哪里停顿、在哪里自我检查。

它学不到的是 R1 在 671B 参数里装下的世界知识和跨领域关联。表现出来就是:套路清晰的题(初中代数、常见算法题、格式化输出)进步明显;需要冷门知识或者多步常识推理的题,会一本正经地推错。

所以在 Arc 上跑蒸馏版,合理的用途是「把推理流程本地化」,不是「把 R1 搬到本地」。这个预期差是很多评测失望的来源。

权重装得下,还要看 KV

蒸馏版的 KV 开销按底座算,和 Qwen3 的算法一样:每 token 每层 2 × KV头数 × head_dim × 2 字节。四个型号的实际值如下。

型号每 token8K16K32K
7B(Qwen2.5-Math)56 KiB0.44 GB0.88 GB1.75 GB
8B(Llama 3.1)128 KiB1.0 GB2.0 GB4.0 GB
14B192 KiB1.5 GB3.0 GB6.0 GB
32B256 KiB2.0 GB4.0 GB8.0 GB

推理型模型有个额外的坑:KV 不是按提示词长度分配的,是按「提示词 + 已生成长度」增长的。你设 8K 上下文,提示词占 500 token,思考段生成 7000 多 token,加起来就顶满了。再往下生成就触发上下文滚动或者直接截断。

所以给 R1 蒸馏版设上下文,要按「输入 + 预期思考长度 + 回答长度」算,不能只按输入算。这也是为什么同一张卡跑普通对话够用,跑推理模型就捉襟见肘。

举个具体的账。用 14B 跑一道需要长推导的题:系统提示加题目 600 token,思考段 5000 token,最终回答 800 token,合计 6400 token。要留出滚动余量,上下文至少设 8K,KV 占 1.5GB。如果只按输入 600 token 去估,会觉得 4K 上下文绰绰有余,实际跑到一半就被截断。

这个账在 12GB 卡上直接决定了选型。14B Q4_K_M 8.99GB 加 8K KV 1.5GB 再加 1GB 缓冲,已经 11.5GB,只剩不到半 GB。任何一点额外开销——多开一个浏览器标签、驱动占一点——都会让思考段跑不完。

7B 在这件事上从容得多。4.68GB 权重加 16K KV 0.88GB,总共不到 7GB,剩下的空间足够把上下文抬到 32K。代价是推理能力弱一档,难题上更容易推错。

12GB、16GB、24GB 各跑到哪一档

卡推荐组合权重KV小计说明
12GB(B580)7B Q6_K + 16K6.250.888.1宽裕,长思考也稳
12GB8B Q4_K_M + 16K4.922.07.9宽裕,但 KV 更贵
12GB14B Q4_K_M + 16K8.993.013.0超了,得压到 8K(KV 1.5)
16GB(A770)14B Q4_K_M + 16K8.993.013.0可行
16GB14B Q6_K + 8K12.121.514.6紧
24GB(Pro B60)32B Q3_K_M + 16K15.944.020.9宽裕
24GB32B Q4_K_M + 8K19.852.022.8紧,思考段容易顶满

12GB 卡上 14B 不是不能跑,是要把上下文压到 8K 以内,而 8K 对推理模型来说很局促:提示词加思考段很容易超过。压不住的后果不是慢,是答到一半被截断。

24GB 卡跑 32B Q4_K_M 属于「纸面可行」。思考段一长,KV 往上走,剩下那 1GB 余量很快见底。要稳定,选 Q3_K_M 加 16K,或者接受 8K 上下文加短思考。

推理型模型的成本在输出侧

普通对话的输出通常是几百 token,推理模型动辄上千。DeepSeek 官方把最大生成长度设成 32768,推荐采样温度 0.5 到 0.7,这套参数本身就是为长链推理准备的。

解码阶段的速度由显存带宽决定,每生成一个 token 要把权重读一遍,所以输出 token 数直接乘在时间上。B580 在 llama.cpp Vulkan 后端跑 R1-Distill-Llama-8B,输出 128 token 的测试里约 13.7 tok/s(Phoronix 的 llama.cpp Vulkan 测试,B580,Linux)。

按这个数推算:一段 3000 token 的思考,光解码就要三分半;同样问题在普通 8B 模型上可能二十秒结束。这不是 Arc 的问题,换任何卡都是这个比例,只是基数不同。

预填充是另一回事。同一份测试里 8B 模型处理提示词的吞吐在 590 到 640 tok/s,比解码快四十多倍。所以推理模型的体感是「读完问题很快,然后长时间没动静」——那段时间全在解码思考段。

32B 的情况更明显。按权重体积推算,它的解码速度大约是 8B 的四分之一,同样 3000 token 的思考要十几分钟。这个量级下,交互式使用基本不成立,只能当批处理跑。

采样参数不对,会一直想下去

推理模型有个特有的失败模式:陷进重复,思考段越写越长,直到顶满上下文。表现出来是「进度条一直转」,最后给你一个被截断的答案。

DeepSeek 官方给的建议是温度 0.5 到 0.7(推荐 0.6)、top_p 0.95,并且明确写了不要用贪心解码——贪心会让它卡在同一个句式里反复。llama-server 的请求体里直接传 temperature 和 top_p 即可,走的是 OpenAI 兼容字段。

如果仍然出现超长输出,可以再加 presence_penalty。副作用是官方提到过的:penalty 调高会带来中英混杂,以及轻微的质量下降。所以先调温度,penalty 留作兜底。

这条对本地部署比对 API 更重要。API 侧通常有服务端的截断和超时保护,本地跑就是硬等,一次死循环十几分钟,期间显存全被占着。

两条可执行的路径

Ollama 最省事,官方库直接有 deepseek-r1 的 7b、8b、14b、32b 标签。

# Windows:把上下文提到 16K,KV 用 q8_0 省一半
$env:OLLAMA_CONTEXT_LENGTH="16384"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_FLASH_ATTENTION="1"
ollama serve

ollama run deepseek-r1:14b

默认上下文是 4096,对推理模型明显不够——思考段一起就顶满。这一条在 Ollama 的 FAQ 里写着,改法就是上面那个环境变量。

llama.cpp 的控制更细,尤其是能单独指定上下文和 KV 类型:

# Windows:Vulkan 预编译包,整行执行
llama-server -m DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf -ngl 99 -c 16384 -fa on -ctk q8_0 -ctv q8_0 --jinja --host 127.0.0.1 --port 8080

# Linux + SYCL:先激活 oneAPI,再锁定独显
source /opt/intel/oneapi/setvars.sh
export ONEAPI_DEVICE_SELECTOR="level_zero:0"
llama-server -m DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf -ngl 99 -c 16384 -fa on -ctk q8_0 -ctv q8_0 --jinja --port 8080

--jinja 在当前版本默认就是开的,写出来是为了明确依赖模型自带的对话模板。R1 系列的模板会在回答前插入思考段的起始标记,模板不对,输出会混在一起,分不出哪段是思考、哪段是答案。

后端这一层,Arc 有两条路可选。Vulkan 包开箱即用,不依赖 oneAPI;SYCL 包的 Windows 预编译版自带运行时和 DLL,也不需要单独装 oneAPI——只有从源码编译才需要。

SYCL 从 2026.02 起移除了 NVIDIA 和 AMD 的插件支持,因为 oneAPI 针对这两家的插件下载渠道已经停摆。这条对 Arc 没有影响,但意味着两年前的跨厂商 SYCL 教程现在一半是失效的。照着老教程装环境,最容易卡在插件下载那一步。

如果打算长期用 SYCL,值得关注 2026.04 到 05 那轮更新:Q4_K、Q5_K、Q6_K、Q8_0 的矩阵乘法做了重排优化,构建包升级到 oneAPI 2025.3.3 并支持 Ubuntu 24.04。K 系列量化正好是 R1 蒸馏版最常用的档位,这轮优化落在关键路径上。

还有一个现实问题:官方模型卡没有给出关闭思考的接口,模板里也没有对应字段,没法让它「少想一点」。想缩短输出只能靠提示词约束,比如要求「直接给结论」,效果不稳定。这一点是选型时要认的。

量化档位对推理模型更敏感

推理模型的输出是一条长链,中间一步跑偏,后面全歪。低比特量化带来的微小偏差,在这种链式结构里会被逐步放大——摘要、翻译这类任务上觉察不到的损失,在数学题上可能表现为「思路对、最后算错」。

7B 用 Q6_K(6.25GB)或 Q8_0(8.10GB)都合适,12GB 卡完全装得下,没必要为省三 GB 降到 Q4。

14B 的底线是 Q4_K_M(8.99GB),这样 16GB 卡上还能留出 16K 上下文。降到 Q3_K_M 能省 1.7GB,但换来的空间通常不够多开一档上下文,不划算。

32B 如果只能上 Q3_K_M(15.94GB),要有心理准备:省下的是显存,付出的是推理链的稳定性。Q4_K_M 的 19.85GB 在 24GB 卡上只剩不到 1GB 余量,长思考一样会顶到墙。Q8_0 的 34.82GB 则完全不在单卡范围内。

批量跑比交互更合适

如果任务本身就是批量的,本地跑蒸馏版的体验会比交互好得多。把题目写进文件,用脚本逐条调接口,keep_alive 设长一点避免反复加载模型。

关键是 max_tokens 一定要设。本地不设就是按模型上限走,一条卡住的请求能把后面全堵死,而且期间显存一直占着。

批处理时也不要开并行。单卡跑 32B,两个请求同时进来只会互相挤显存,总吞吐不会提升,反而两边都变慢。

什么时候该改用 API

三条判断标准,满足任意一条就该走 API。

第一,单次等待超过可接受范围。32B 在 24GB 卡上跑一次完整推理要十几分钟,如果任务是交互式的,这个延迟没有优化空间——瓶颈在显存带宽,不在软件。

第二,需要 R1 本体级别的质量。蒸馏版在 AIME 2024 上的 pass@1 是 72.6(32B,官方数据),和 671B 本体不是一个层级。差的那部分不是量化能补的。

第三,并发超过一两个。本地单卡跑推理模型,第二个请求进来要么排队要么抢显存,两种结果都不可用。API 按 token 计费,并发是对方的事。

成本这一侧可以对着同一个 DeepSeek 模型 50 个 API 端点那篇算,把每天的思考 token 量乘上单价,和电费加折旧比。日调用量上到几十次,就值得把两边的账认真算一遍。

反过来,如果任务是离线的、批量的、数据不能出内网的,本地跑 7B 或 14B 蒸馏版仍然合理——慢,但一晚能跑完,且没有单次成本。

还有一条中间路线值得考虑:本地跑 7B 做初筛,把模型自己拿不准的题挑出来送 API。蒸馏版的一个可用信号是思考段里出现反复自我怀疑、多次推翻结论,这类样本的准确率明显低,挑出来重跑比全量上 API 便宜。

显存估算的通用方法在DeepSeek 本地部署要多少显存里拆过一遍,蒸馏版可以套用同一套算法,只是把参数量换成对应的稠密模型。

怎么验证跑对了

三个检查点。

第一,看模型有没有真的全量卸载。Ollama 用 ollama ps,PROCESSOR 列要是 100% GPU;llama.cpp 看启动日志里的 offloaded N/N layers to GPU,N 和总层数要相等。

第二,看思考段有没有被正确分离。正常输出里应该能看到思考内容和最终回答的分界;如果整段混在一起,多半是模板没加载对,检查 --jinja 和 GGUF 的模板字段。

第三,看结束原因。生成如果是被长度限制截断的,而不是模型自己停的,说明上下文设小了。Ollama 的响应里有 done_reason 字段,llama.cpp 的日志也会标出是因为长度还是停止符结束。这一条比看速度曲线可靠。

装 llama.cpp 的预编译包还是自己编,llama.cpp 部署 Windows那篇讲过取舍。Arc 用户优先选 Vulkan 包,SYCL 包需要额外对齐 oneAPI 版本,装错的表现是启动就报找不到 DLL。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →