Ollama、LM Studio、llama.cpp:Intel 显卡上谁最省事
三者是服务、桌面客户端与推理引擎三种不同层次的抽象,省事的方式和代价各不相同。本文比较易用性、显存与上下文可控性、模型来源、日志可观测性,说明显存不足时三者各自的行为差异,并给只想用、想比较、想压性能三类人的默认选择。
把这三个放在一起比「谁更好」,问法本身就有问题:Ollama 是一个常驻服务,LM Studio 是一个桌面客户端加运行时管理器,llama.cpp 是推理引擎本体。它们不在同一层,所以省事的方式和代价也完全不同。
真正该问的是:你愿意为「可控」付出多少手工操作。答案不同,选择就不同。
三个层次,各自负责什么
| Ollama | LM Studio | llama.cpp | |
|---|---|---|---|
| 是什么 | 本地服务,带模型库与 REST API | 桌面客户端,兼运行时管理器 | 推理引擎,命令行工具集 |
| Intel 卡上走什么 | Vulkan(0.30 起默认启用) | 需选 Vulkan 运行时 | 可选 Vulkan 或 SYCL 后端 |
| 模型管理 | 有,ollama pull / Modelfile | 有,内置搜索与下载 | 无,自己管文件 |
| 参数控制 | 环境变量 + 少量请求参数 | 图形界面 + 每模型设置 | 全部命令行参数 |
| 适合 | 想马上用 | 想在界面里比较与调参 | 想复现与压榨 |
一个容易忽略的事实:Ollama 和 LM Studio 的 Intel 路径都是 Vulkan,也就是说它们的能力上限被同一个后端框住了。想要 SYCL 那一层优化,只有 llama.cpp 这条路。
易用性:一条命令,还是一个运行时
Ollama 的路径最短。装完,ollama run 就能对话,模型自动下载,不需要知道后端是什么。它默认监听 127.0.0.1:11434,OpenAI 兼容接口直接可用,接别的工具几乎零成本。
LM Studio 的路径多一步:运行时。它的推理引擎是独立组件,需要单独下载并在设置里选中。选错的表现很隐蔽——模型能加载,GPU 占用为零,因为它跑在 avx2 那条纯 CPU 运行时上。
这一步是新手最容易卡住的地方,也是最值得先检查的地方。图形界面里 GPU Offload 滑杆拉满但速度没变,八成是运行时选错了,而不是显存不够。
llama.cpp 没有「易用性」这一项。要自己找 GGUF、自己判断 -ngl 该给多少、自己算上下文能不能放下。它的价值在别处:每一个影响结果的参数都暴露在外面。
把三者的安装动作摆在一起,差距更直观。
# Ollama:装完即可,可选调两个环境变量
export OLLAMA_CONTEXT_LENGTH=8192
export OLLAMA_KV_CACHE_TYPE=q8_0
ollama run qwen3:8b
# LM Studio:装完还要在 Settings → Runtime 里下载并选中 Vulkan 运行时
# 命令行等价物
lms load qwen3-8b --gpu=max --context-length=8192
# llama.cpp:拿 release 包或自己编,再自己准备模型文件
./llama-cli -m ./models/qwen3-8b-Q4_K_M.gguf -ngl 99 -c 8192 -fa on
Ollama 的两行环境变量是全局的,写在 systemd 或用户环境变量里,之后所有模型都按这个跑。LM Studio 的那一步是图形操作,命令行只能在装好运行时之后接管。llama.cpp 的三行参数每次都要重打,写成脚本才能固定下来。
显存与上下文:能不能按模型单独设
这是三者差别最大的地方,也是选型时最该看的一项。
Ollama 的上下文是全局的。默认 4096 token,要用更长得设 OLLAMA_CONTEXT_LENGTH,而这个值对所有模型生效。KV cache 的量化类型 OLLAMA_KV_CACHE_TYPE 同样是全局的,默认 f16,可以选 q8_0 或 q4_0。
这两个全局设置叠加起来会产生一个陷阱:OLLAMA_NUM_PARALLEL 默认 1,一旦调大,上下文会按并发数翻倍。2K 上下文配 4 路并发,实际占用按 8K 算。官方文档把这个关系写得很清楚,但很多人只看到「并发提高吞吐」就调了。
LM Studio 是按模型设的。加载时给每个模型单独的 GPU Offload 与上下文长度,换模型不会互相影响。命令行等价物是 lms load --gpu=max --context-length=...。
llama.cpp 是最细的。-c 定上下文,-ngl 定卸载层数,-fa 定 Flash Attention,-ctk / -ctv 分别定量化 K 与 V 缓存,-b / -ub 定批大小。代价是这些值都要你自己给,给错了不会有人提醒。
一个具体差别:只有 llama.cpp 能对 K 和 V 用不同的量化类型。当 Flash Attention 不可用时,只量化 K(-ctk q8_0)仍然能省内存并正常启动,两个都量化则会直接报错退出。这种细粒度控制在另外两个工具里没有出口。
显存不够时,三个工具的反应不同
12GB 卡跑 14B 模型,总会遇到放不下的情况。这时候三者的行为差异,直接决定你排查的难度。
Ollama 会自动切分。它评估可用显存,能全放就全放,放不下就把一部分层留在系统内存,然后照常运行,只是变慢。ollama ps 会显示类似 72%/28% CPU/GPU 的比例。这很友好,也很危险——很多人以为自己在跑 GPU 推理,实际速度被内存带宽拖着。
LM Studio 把这件事交给滑杆。GPU Offload 设成 max,它会尽量多卸;放不下就按你给的比例来,界面上能看到估算的显存占用。好处是决策在你手里,坏处是你得先知道该给多少。
llama.cpp 最直接:放不下就报错。SYCL 后端会给出分配失败的信息,提示显存不足;这时候要么降 -ngl,要么降 -c,要么换更小的量化。没有自动妥协,也没有惊喜。
三种风格对应三种使用习惯。要「不中断」,选 Ollama;要「看得见」,选 LM Studio;要「确定」,选 llama.cpp。第三种在调试时最省时间,因为它不会替你做出你不知道的决定。
多模型与并发:谁能同时开几个
这一项常被忽略,但它决定了能不能把本地模型当服务用。
Ollama 天生是服务。OLLAMA_MAX_LOADED_MODELS 控制同时驻留几个模型,默认是 GPU 数量的三倍(纯 CPU 时为 3);OLLAMA_NUM_PARALLEL 控制单个模型的并发请求数,默认 1。超出的请求排队,队列长度由 OLLAMA_MAX_QUEUE 控制,默认 512。
这两个参数是有代价的。并发会把上下文按倍数放大,显存占用跟着涨。在 12GB 卡上把 OLLAMA_NUM_PARALLEL 调到 4,等于要求它能同时装下四份 KV cache。
LM Studio 的重心是单模型体验。它也有本地服务(lms server start),但设计上不是为多模型并发准备的,切换模型要先卸载再加载。
llama.cpp 一个进程一个模型。要多模型就多开进程,端口各自分配。这听起来原始,实际上是最可控的做法——每个进程的显存、上下文、后端都可以单独指定,互不干扰。
模型格式与来源
三者都吃 GGUF,这是共同点,也是它们能共存的原因——同一个文件可以在三个工具里轮流加载,不用转换。
差别在获取方式。Ollama 有自己的模型库,ollama pull 拿的是它打包过的版本;要用外部 GGUF 得写一个 Modelfile,FROM ./model.gguf,然后 ollama create。这个流程多一步,但换来的是可以塞自定义的系统提示与参数。
LM Studio 内置 Hugging Face 搜索,下载后直接进模型目录,界面上能看到量化档位与体积。对「想试试不同量化」的人来说,这是最顺的路径。
llama.cpp 什么都不管。文件从哪来、叫什么、放哪里,全是你的事。好处是没有隐藏的转换步骤——你加载的就是你下载的那个文件,字节不变。
Ollama 这条链上有一处需要注意:ollama pull 拿到的是官方打包的版本,默认量化档位由 tag 决定,未必等于你在 Hugging Face 上看到的那个 Q4_K_M。想确认实际是什么,用 ollama show,想看细节就查它的 Modelfile。这不是问题,只是一个容易误判的地方——比较两个工具的显存占用时,先确认两边加载的是同一档量化。
还有一层是来源可信度。Ollama 的库由官方维护,模型经过筛选;LM Studio 直接对接 Hugging Face,选择多,但没有官方筛选;llama.cpp 完全不筛,你自己对自己的文件负责。
日志:出问题时能看到什么
Ollama 的日志最少。日常判断靠 ollama ps,它的 PROCESSOR 列会写 100% GPU 或 48%/52% CPU/GPU,这是最直接的一句话。再深一点要开 OLLAMA_DEBUG,输出会变多但仍是服务层的视角。
Linux 上还有个坑:Vulkan 需要额外能力或 root 权限才能读到准确的可用显存,否则 Ollama 只能用模型体积做粗略估算。官方给的办法是 sudo setcap cap_perfmon+ep /usr/local/bin/ollama。没做这一步,调度决策就是猜的。
LM Studio 有一个很适合排障的命令:lms ps 看当前加载了什么,lms log 看请求进出。配合运行时列表,能很快确认「到底哪个引擎在跑」。
llama.cpp 的日志最全,也最吵。加载时会逐层打印卸载情况,运行时能加 --verbose。它的日志是给调参的人看的,不是给使用者看的。
这三层的差别在故障时最明显。Ollama 报错往往是「加载失败」四个字,你得去翻服务日志;LM Studio 会在界面上告诉你哪一步失败,但看不到内核层;llama.cpp 会把显存分配、层数、后端选择全打出来,代价是你得知道哪些行重要。
所以排障的顺序建议反过来:先用 llama.cpp 确认这套硬件与模型能不能跑通,再回到 Ollama 或 LM Studio 里复现。前者给你事实,后者给你便利。
谁适合长期挂着
如果目标是「开机就能用、别的程序随时调」,选择会收窄。
Ollama 在这方面最成熟。它本来就是常驻进程,Windows 上随用户登录启动,Linux 上是 systemd 服务,模型按需加载、闲置自动卸载。把它接进编辑器、笔记软件、自动化脚本,都只需要一个地址。
LM Studio 也在往这个方向走,命令行里有 lms daemon 管无界面运行,lms server start 起本地服务。但它的形态是桌面应用,常驻能力是后来加的,配置也分散在图形界面与 CLI 两处。
llama.cpp 的 llama-server 同样能常驻,接口也是 OpenAI 兼容。区别在于进程生命周期要自己管——没有自动卸载、没有模型切换、崩了要自己重启。写一个 systemd unit 或者一个看门狗脚本,是使用它的前提。
这一项的判断很实际:会不会有人在你不在的时候用它。会,就选服务形态;不会,桌面客户端更舒服。
三类人,三个默认答案
| 你是谁 | 默认选 | 什么时候该换 |
|---|---|---|
| 只想在本地跑起来,不折腾 | Ollama | 需要按模型设上下文,或要 SYCL |
| 想在界面里比较模型与量化 | LM Studio | 需要脚本化、要接自动化流程 |
| 要复现数据、压性能、接自定义 | llama.cpp | 只想聊天时,用前两个更省事 |
第一类人占多数。对这些人,Ollama 的默认值已经够用:Vulkan 自动启用,模型库覆盖主流模型,接口标准。最该先改的是上下文长度——默认 4096 对长文档不够,改动只需要一个环境变量。
第二类人的核心诉求是「比较」。同一张卡上,7B 的 Q4_K_M 和 Q5_K_M 差多少、上下文从 4K 提到 8K 掉多少速,这些在 GUI 里点几下就能看到。代价是它把运行时这一层暴露给了用户,而这一层恰恰最容易出错。
第三类人不多,但决定了前两类人能用什么。llama.cpp 是上游,Ollama 和 LM Studio 都在它之上做封装;上游的优化要过一段时间才会出现在下游的发行版里。想第一时间吃到新后端,只能自己编。
一个共同的坑:都以为自己用上了 GPU
三个工具都可能出现「显示在用 GPU,实际在跑 CPU」,而且各自的破绽不一样。
Ollama 看 ollama ps 的 PROCESSOR 列,不是 100% GPU 就说明有层留在内存里。常见原因是模型加上下文超过了显存,Ollama 会自动切一部分到 CPU,不报错。
LM Studio 看运行时。名字里带 vulkan 的才是 GPU 路径,带 avx2 的是纯 CPU。选错之后 GPU Offload 滑杆依然可以拉动,只是不起作用。
llama.cpp 看日志里的卸载行,以及一个反直觉的细节:-ngl 0 并不等于完全不用 GPU,仍可能有部分计算落到显卡上;要彻底禁用得用 --device none。
怎么验证
三个工具各一条命令,一分钟能确认。
# Ollama:看 PROCESSOR 列
ollama ps
# LM Studio:确认加载的模型与运行时
lms ps
# llama.cpp:列出设备,再跑一次看日志
llama-cli --list-devices
llama-cli -m model.gguf -ngl 99 -c 4096 -p "test" 2>&1 | head -n 30
判断标准只有一条:日志或状态里写的设备和层数,和你以为的一致。不一致就以它写的为准——工具不会骗你,人才会想当然。
如果你还没决定从哪入手,Ollama 是什么、服务和客户端怎么分那篇把第一层讲透了;想要一个更轻的桌面客户端做对照,可以看Jan 的定位;真要走到自己编那一步,预编译包和自编译怎么选里有构建号的对应关系。
登录后可点赞、收藏与反馈。