Core Ultra 核显跑大模型:能跑,但别指望速度
统一内存决定了核显的 decode 上限:7B Q4 十几 tok/s 可用,14B 勉强,32B 没意义。对比 Meteor、Arrow、Lunar Lake 的内存与核显差异,给出核显够用的场景。
核显跑大模型,卡住的从来不是算力。每生成一个 token,都要把整个权重从系统内存读一遍;核显的 XMX 再强,也只能等内存把数据送过来。这就是为什么 Core Ultra 的核显标着几十 TOPS,跑 7B 却只有十几 tok/s。
结论先说:7B Q4 在核显上属于「能用」,十几 tok/s,离线聊天和文档问答都够;14B 是「勉强」,个位数到十,只适合批处理;32B 没有意义,带宽和共享显存都不支持。
三代 Core Ultra 的差别没有想象中大。Meteor Lake、Arrow Lake-H、Lunar Lake 的核显都是 8 个 Xe 核心,带宽在 119–136 GB/s 之间,差距不到 15%。真正拉开差距的是内存形态和功耗,不是核显本身。
统一内存:显存看着大,带宽是硬账
核显没有独立显存,用的是系统内存的一块共享区域。Windows 里叫「共享 GPU 内存」,默认上限通常是物理内存的一半;Linux 上由驱动动态分配,上限更宽松。任务管理器里「专用 GPU 内存」只有 128MB 左右,那不是核显的真实容量。
这 128MB 是驱动预留的一小块专用区域,用于显示输出和固定分配。模型权重不会放在里面,全部走共享区。所以「核显只有 128MB 显存」的说法是误读,真正的限制是共享区的容量和带宽。
llama.cpp 的 SYCL 文档专门写了这件事:加载模型时要保证「host 共享给 GPU 的内存」足够大,7B Q4 在核显上至少需要 8GB,在独显上只需要 4GB。同一份权重、同一个后端,核显要多一倍,原因是运行时还要在共享区里放计算缓冲。
共享带来的第一个后果是容量便宜。32GB 内存的笔记本可以把 16GB 划给核显,理论上能装下 14B Q8 这种独显装不下的模型。第二个后果是带宽昂贵,系统内存的带宽只有独显的几分之一,而且要和 CPU 抢。
具体容量怎么折算,可以照显存估算表的口径,把权重、KV 和运行时分开算。
「划给核显」这个动作本身也有成本。被划走的区域对操作系统不再可用,浏览器和 IDE 能用的内存变少;反过来,如果划得太小,模型加载到一半就会失败。Windows 上这个上限藏在驱动面板里,Linux 上由内核参数决定,两边都不是「设一次就永远对」。
共享内存还有一个隐性代价:它没有显存那样的局部性。GDDR6 的访问延迟和系统内存差一个量级,核显每次读权重都要经过内存控制器和环形总线。带宽数字只反映了吞吐,没反映延迟,实际效率因此只有独显的六成左右。
decode 速度近似等于「带宽 ÷ 权重大小 × 效率」。7B Q4 的权重约 4.4GB,119.5 GB/s 的理论上限是 27 tok/s,实测 16 tok/s,效率约六成。效率损失来自 kernel 启动、KV 读写和内存控制器的争用,不是算力不够。
| 平台 | 内存类型 | 峰值带宽 | 核显 | 权重 4.4GB 的理论上限 |
|---|---|---|---|---|
| Meteor Lake | LPDDR5X-7467 / DDR5-5600 | 119.5 / 89.6 GB/s | 8 个 Xe 核心 | 27 / 20 tok/s |
| Arrow Lake-H | LPDDR5X-8400 / DDR5-6400 | 134.4 / 102.4 GB/s | 8 个 Xe 核心 | 30 / 23 tok/s |
| Lunar Lake | LPDDR5X-8533(封装内) | 136.5 GB/s | 8 个 Xe2 核心 | 31 tok/s |
| Arc B580(对照) | GDDR6 192-bit | 456 GB/s | 20 个 Xe2 核心 | 103 tok/s |
这张表说明两件事。DDR5 版本和 LPDDR5X 版本的差距很大,同一颗 155H 用 DDR5-5600 时带宽从 119.5 降到 89.6 GB/s,按带宽比例算要慢四分之一;Lunar Lake 的封装内存把带宽拉到 136.5 GB/s,但相对 Arrow Lake-H 只多了 1.6%。
三代平台:内存形态比核显型号更重要
Meteor Lake 是第一代把 NPU 塞进来的平台,核显是 Xe-LPG,8 个核心、18 TOPS INT8,NPU 11 TOPS,基础功耗 28W。它支持 LPDDR5X-7467 和 DDR5-5600,整机内存最大 96GB;和 Lunar Lake 的焊死内存不同,这一代还能自己加内存。
它的短板是核显的 XMX 规模最小,18 TOPS 只有 Arrow Lake-H 的四分之一。跑 LLM 时这个差距不明显,因为带宽先到瓶颈;跑图像生成时差距会放大,XMX 多的平台出图更快。
Arrow Lake-H 的核显还是 Xe-LPG,但频率更高,GPU 峰值 77 TOPS INT8,NPU 13 TOPS,基础功耗 45W。内存支持到 LPDDR5X-8400 和 DDR5-6400,上限 128GB。它的优势是持续功耗高,长时间推理不容易降频。
45W 的基功耗意味着更厚的散热和更大的风扇,机器通常也更重。这是拿便携性换持续性能,跑长任务时值得,通勤时未必。
Lunar Lake 换了 Xe2 架构,8 个 Xe2 核心、最高约 67 GPU TOPS,NPU 48 TOPS,基础功耗 17W。内存是封装内的 LPDDR5X-8533,带宽 136.5 GB/s,容量只有 16GB 或 32GB 两种,焊死不能升级。
三个数字放在一起会有点反直觉:Arrow Lake-H 的 GPU TOPS 是 77,比 Lunar Lake 的 67 还高。但跑 LLM 时,77 TOPS 不会让 decode 更快,因为瓶颈在带宽;TOPS 只在 prefill 和 batch 推理时才有意义。
Lunar Lake 的真正优势是功耗和延迟。封装内存的走线短,空闲功耗低,17W 的基功耗让它在电池上也能跑推理。代价是容量被锁死,16GB 版本的机器实际只有 8GB 左右能分给核显,7B Q5 就到顶了。
Xe2 的 XMX 每周期吞吐比 Xe-LPG 高,但 Lunar Lake 的核显频率只有约 2.0GHz,峰值 TOPS 反而低于 Arrow Lake-H。LLM 的 decode 仍然受带宽限制,Lunar Lake 在 7B 上的优势主要来自 136.5 GB/s 的内存和更低的调度开销,不是架构本身。
选机器时的优先级很清楚:先看内存类型和容量,再看核显型号。LPDDR5X-8400 的 Arrow Lake-H 比 DDR5-5600 的同款快得多;32GB 的 Lunar Lake 比 16GB 的版本能多跑一档模型。
官方实测只有一组,但足够定性
llama.cpp 的 SYCL 文档在 2025.2 的优化记录里给了一组横向数据:llama-2-7b Q4_0,Meteor Lake 从 13 提到 16 tok/s,Arrow Lake-H 从 14 提到 17 tok/s,Arc A770 从 42 提到 55 tok/s。测试条件是 oneAPI + SYCL 后端,量化 Q4_0。
这是目前少数把核显和独显放在同一张表里的官方数字。它说明三件事:核显之间的差距很小(16 对 17),核显和独显的差距很大(16 对 55),优化能带来两成左右的提升但不是数量级。
文档里还有一条硬门槛:核显少于 80 个 EU 时,「推理速度大概率不适合实际使用」。8 个 Xe 核心等于 128 EU,刚好过线;4 个 Xe 核心的 Arrow Lake-HX 或低端 SKU 是 64 EU,不过线。买之前确认 Xe 核心数,比看 TOPS 有用。
这条门槛的来历不难理解。EU 太少时,每个 EU 要串行处理的计算多,kernel 启动和调度开销占比高,带宽还没打满就算完了。结果是「带宽够、速度上不去」,比纯带宽瓶颈更难优化。
按这组数字外推,14B Q4 在核显上大约 8–9 tok/s,32B Q4 大约 4 tok/s。这是按带宽比例的估算,不是实测,但和社区报告的区间一致。到了这个速度,聊天已经能感觉到等待,只适合挂着跑批处理。
和入门独显的差距是结构性的
Arc B580 的带宽是 456 GB/s,是 Meteor Lake 的 3.8 倍;A770 是 560 GB/s,4.7 倍。按带宽比例,同模型的 decode 速度差距就在 3–5 倍,实测的 16 对 55 正好落在这个区间。
差距不会因为驱动优化而消失。核显的带宽由内存决定,笔记本的内存焊死在主板上,换不了;独显的带宽由 GDDR6 决定,是另一套物理通路。这是结构差异,不是软件成熟度问题。
核显还要和 CPU 抢带宽。浏览器、视频播放、桌面合成都会占用内存控制器,跑推理时开一堆标签页,tok/s 会明显下降。独显的显存是独立的,不受这些影响。
把入门独显拉进来对比会更清楚。RTX 3060 12GB 的带宽是 360 GB/s,Arc A580 是 512 GB/s,都是核显的 3–4 倍。独显和核显笔记本不是同一类产品,价格也难直接比,但单看推理速度,差距就是 3–4 倍。
核显没法通过加内存来提速。加容量只影响「能不能装下」,不影响「装下之后多快」;带宽由内存颗粒和内存控制器决定,笔记本上这两样都换不了。
但核显有一个独显没有的优势:容量。32GB 内存的机器可以给核显 16GB,装下 14B Q8;12GB 的 B580 装不下。代价是速度只有独显的三分之一到五分之一。这是「能跑」和「跑得快」的交换,不是谁替代谁。
什么场景核显够用
离线、单人、7B、短上下文,这四条同时成立时,核显是够用的。典型场景是出差路上用笔记本查文档、改代码、做会议纪要,不追求首字延迟,能接受十几 tok/s。
客户端上不用折腾,Jan 这类桌面端直接调 llama.cpp 的 Vulkan 后端,装完选模型就能跑;Ollama 0.30 之后同理,Vulkan 默认开启,不需要额外配置。
低并发也是关键。batch size 为 1 时,核显的算力不是瓶颈,带宽才是;一旦并发上去,算力立刻不够,速度会掉到无法使用。核显适合「一个人用」,不适合「给团队做服务」。
功耗和噪音是另一个隐性收益。核显推理时整机功耗只有几十瓦,风扇不转或低速转;独显满载是 190–225W,风扇必然起。夜里在卧室跑批处理,这个差别比 tok/s 更影响体验。
电池场景要单独算。Lunar Lake 的 17W 基功耗配合核显推理,离电也能跑几个小时;游戏本拔掉电源后独显会降频甚至禁用,反而不如核显稳定。
语音转写和 Embedding 是核显的甜点。Whisper large-v3 权重 3.1GB,核显跑得动,批处理场景对速度不敏感;Embedding 模型更小,和主模型共卡也没问题。这两类负载的体验差距,比 LLM 对话小得多。
OCR 和文档解析也属于这一类。它们通常用几亿参数的小模型,核显的算力足够,显存占用在一两 GB,真正耗时的是版面分析的后处理而不是矩阵乘。
不适合的场景也很明确:14B 以上的对话、32K 以上的长上下文、视频生成、多人并发。这些场景要么吃带宽,要么吃显存,核显两头都不占优。
命令:先确认走的是哪条后端
Linux 上 SYCL 需要 oneAPI,Vulkan 不需要:
source /opt/intel/oneapi/setvars.sh
sycl-ls
# 只看核显能不能被识别
vulkaninfo --summary | grep -i deviceName
不想装 oneAPI 的话,Ollama 的 Vulkan 路线更省事,代价是版本由应用决定,不能自己选 llama.cpp 的构建。
Windows 上用 sycl-ls.exe 和 vulkaninfo.exe。如果 sycl-ls 里出现 [level_zero:gpu],说明 Level Zero 可用;只有 [opencl:gpu] 的话,SYCL 后端跑不起来,退回 Vulkan。
一台机器同时有核显和独显时,要显式指定设备,否则 SYCL 可能默认选到独显,或者选到核显却以为是独显:
export ONEAPI_DEVICE_SELECTOR="level_zero:0"
设备编号用 sycl-ls 的输出对,level_zero:0 和 level_zero:1 是两台不同的设备,不是两种后端。
跑一次基准,看核显的真实水平:
llama-bench -m qwen2.5-7b-instruct-q4_k_m.gguf -p 512 -n 128 -ngl 99 -fa on
再跑一次 -ngl 0(纯 CPU)作为对照。如果 GPU 只比 CPU 快不到一倍,说明模型其实没完全上核显,或者共享显存设置太小。
怎么验证共享显存有没有拖后腿
先看加载日志。llm_load_tensors: buffer size 接近文件大小,说明权重进了共享区;如果明显偏小,说明有层留在了 CPU。再看 offloaded N/M layers,N 小于 M 就是没全上。
Windows 上打开任务管理器,切到「性能 → GPU」,看「共享 GPU 内存」的占用。推理时它应该接近模型大小;如果远小于模型,说明有一部分还在内存里没搬过去。
最后做一个对照实验:把电源模式切到「最佳性能」,再跑一次。核显在省电模式下会降频,tok/s 可能明显下降;这不是显卡不行,是功耗策略在限制它。插电和电池两种状态各测一次,才能知道这台机器的真实上限。
再看温度。连续跑十分钟 llama-bench,如果第一分钟和第十分钟的 tok/s 差 20% 以上,说明机器撞了温度墙,散热模组压不住持续负载。轻薄本上这很常见,短对话感觉不到,长文档摘要就会明显变慢。
最后确认内存通道数。同一条 LPDDR5X 在双通道和单通道下的带宽差一倍,有些低端 SKU 或焊死的内存配置只给单通道,标称频率看着一样,实际速度腰斩。用 AIDA64 或 lspci -vv 查一下,比看商品页靠谱。
登录后可点赞、收藏与反馈。