llama.cpp 部署 Windows：预编译包和自编译怎么选

llama.cpp 不是给普通用户准备的软件，它是很多本地模型应用的底层引擎。Ollama、KoboldCpp、Jan 这些工具，背后跑的多半就是它。直接用它的理由只有两个：想控制每一个参数，或者想要最轻的依赖。

它到底是什么

一个用 C/C++ 写的推理引擎，最早把大模型从 GPU 服务器拉到普通电脑上。GGUF 这个模型格式就是它这套生态推起来的，现在几乎所有本地模型分发都用这个格式。

它不带图形界面。命令行工具分两个：llama-cli 做对话，llama-server 起一个带 Web UI 的 HTTP 服务。

适合谁

适合愿意看参数的人：要指定 GPU 层数、要开连续批处理、要试不同的量化等级、要把模型嵌进自己的 C++ 或 Python 程序。

不适合只想聊天的人。那类需求用 Jan 或 Cherry Studio，装完就能用，没必要从引擎层开始。

最近更新了什么

2026 年 11 月 13 日的 b12345 是一次日常构建，值得注意的变化是给 Hexagon 后端补上了 Q5_0 与 Q5_1 两种量化格式的支持——这意味着骁龙平台上的 NPU 能跑更多量化等级的模型。

官方同时把站点迁到了 llama.app，下载入口和文档都比之前集中。

部署三步

第一步，选包。 Releases 里按平台和后端拆得很细：bin-win-cuda 给 NVIDIA，bin-win-vulkan 给 AMD 和 Intel 核显，bin-win-cpu 给纯 CPU。CUDA 包要和本机驱动版本对上，装错会在启动时报找不到 DLL。

第二步，找模型。 去 Hugging Face 搜同名 GGUF 仓库，按显存选量化等级。经验值：7B 的 Q4 约 4GB，14B 的 Q4 约 9GB，32B 的 Q4 约 20GB，还要给上下文留出空间。

第三步，起服务。 解压后在该目录打开终端：

llama-server -m model.gguf -c 8192 -ngl 99 --port 8080

-ngl 是卸载到 GPU 的层数，99 表示全部卸载；显存不够就往下调，调到不报显存溢出为止。

三个实际会遇到的问题

上下文吃显存。 把 -c 从 4096 提到 32768，KV cache 可能多占几个 GB。长文档任务要先算这笔账。

AMD 卡别硬上 ROCm。 Windows 上的 ROCm 支持有限，Vulkan 通常更省事，性能差距在可接受范围内。

编译不是必须的。 除非你要改源码或开特殊后端，官方预编译包足够用。自己编译一轮通常要装 Visual Studio 加 CUDA Toolkit，十几个 GB。

常见问题

和 Ollama 是什么关系？ Ollama 内置了 llama.cpp 作为后端之一，帮你省掉选包和参数。要细调还是得回到 llama.cpp。

Windows 一定要装 CUDA 吗？ 不必。纯 CPU 或 Vulkan 都能跑，只是速度差几倍。

支持哪些模型？ 主流开源模型基本都有 GGUF 版本，新模型通常几天内跟进。

能在手机上跑吗？ 能，安卓有编译好的版本，但 7B 以上的模型对手机仍然吃力。

一句话判断

llama.cpp 是这套生态的地基。想省事就用封装好的客户端，想搞清楚「为什么慢、为什么爆显存」，迟早要回到这里。