Intel 显卡跑 Whisper:三种后端的速度与取舍
对比 whisper.cpp 的 SYCL 与 Vulkan 后端、faster-whisper、OpenVINO 三条路在 Intel 显卡上的真实支持范围,给出模型档位与显存关系、长音频切窗与时间戳对齐方法,以及按硬件场景的选型结论。
先把一个常见误会拆掉:faster-whisper 在 Intel 显卡上没有 GPU 路径。它依赖 CTranslate2,而 CTranslate2 4.9.0 的安装文档里,GPU 只有两种——CUDA 12.x 和 AMD ROCm,Intel 平台一律走 CPU 后端(MKL、oneDNN、OpenBLAS)。所以「用 Intel 显卡跑 faster-whisper」这件事本身不成立,device="cuda" 会失败,device="cpu" 才能跑。
真正能在 Arc 上跑的只有两条:whisper.cpp 的 SYCL 或 Vulkan 后端,以及 OpenVINO。三条路的分水岭不在速度,在「谁的算子在 GPU 上」。
结论:要最省事、要最完整的 GPU 加速,选 OpenVINO GenAI;要单文件可执行、要跨平台部署、不想装 Python,选 whisper.cpp 的 Vulkan 后端;要榨 Linux 上 Arc 独显的极限,可以试 whisper.cpp 的 SYCL 后端,代价是它至今没支持 Windows。
三条路的支持边界
| 路径 | 加速后端 | 在 GPU 上跑的部分 | 系统支持 | 备注 |
|---|---|---|---|---|
| whisper.cpp SYCL | oneAPI / Level Zero | 整网 | Linux(Ubuntu 22.04 已验证),Windows 标注 Ongoing | 需 -DWHISPER_SYCL=ON,编译器用 icx/icpx |
| whisper.cpp Vulkan | Vulkan | 整网 | Windows / Linux | 跨厂商,1.8.3 起对核显做了优化 |
| whisper.cpp OpenVINO | OpenVINO | 仅 encoder | Windows / Linux | 需 -DWHISPER_OPENVINO=1,README 建议 OpenVINO 2026.3.0、Python 3.10 |
| faster-whisper | CTranslate2 | 无(Intel 上只有 CPU) | 全平台 | GPU 仅 CUDA 12 / ROCm |
| OpenVINO GenAI | OpenVINO | encoder + decoder | Windows / Linux | ASRPipeline,device 传 "GPU" |
这张表里最值得盯的是「在 GPU 上跑的部分」这一列。whisper.cpp 的 OpenVINO 后端只把 encoder 交出去,decoder 仍留在 ggml 侧——Whisper 的 decoder 是自回归的,逐 token 生成,这一段没有交给 OpenVINO,长音频会明显拖慢。
OpenVINO GenAI 的 ASRPipeline 是整套都在 GPU 上,encoder 和 decoder 都走 OpenVINO 图。这是它在中长音频上拉开差距的结构性原因,不是调参调出来的。
SYCL 后端的设备清单在 README_sycl.md 里写得很具体:Data Center Max 1550、Flex 170、Arc A770、Meteor Lake 的核显 Arc、以及 i5-1250P / i7-1165G7 的核显都标为 Support。注意这份清单停在 A 系列,B 系列没有单独列出,属于「大概率能跑但没有官方验证记录」。
Vulkan 后端的情况相反:它对具体型号没有承诺,但 2026 年 1 月的 1.8.3 版本专门优化了核显路径。据对这次合并的公开报道,在 Core Ultra 7 155H 的 Arc 核显上,实时因子(RTF,real-time factor)从纯 CPU 的约 0.3 提升到 0.9–1.2,也就是从「跟不上」变成「勉强实时」。
三条路各装一遍
SYCL 这条路的前置条件最多:装 Intel 显卡驱动、把用户加进 video 和 render 组、装 oneAPI Base Toolkit(默认路径 /opt/intel/oneapi),然后用 icx 编译。不 source 环境变量会直接报找不到 libsycl.so.7。
sudo usermod -aG render,video $USER # 重新登录生效
source /opt/intel/oneapi/setvars.sh
sycl-ls # 应出现 ext_oneapi_level_zero:gpu:0
cmake -B build -DWHISPER_SYCL=ON \
-DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx \
-DWHISPER_SYCL_F16=ON
cmake --build build --config Release -j
GGML_SYCL_DEVICE=0 ./build/bin/whisper-cli \
-m models/ggml-large-v3.bin -f audio.wav -l zh -osrt
旧版本里可执行文件叫 main,新版本改成了 whisper-cli,照抄老教程会找不到文件。另外,SYCL 后端在有 mmap 的系统上偶尔会卡在启动阶段,官方文档给的解法是加 --no-mmap。
Vulkan 这条路简单得多,不需要 oneAPI,Windows 上用 MSVC 或 MinGW 都行。它和 llama.cpp 是同一套 ggml 构建体系,选官方预编译包还是自己编,判断逻辑可以照预编译包与自编译的区别来。
cmake -B build -DGGML_VULKAN=1
cmake --build build --config Release -j
OpenVINO GenAI 这条路完全不碰编译器,但模型要先转成 OpenVINO 的 IR 格式。
pip install openvino-genai "optimum-intel[openvino]"
optimum-cli export openvino --model openai/whisper-large-v3-turbo whisper-turbo-ov
import openvino_genai as ov_genai, librosa
audio, _ = librosa.load("audio.wav", sr=16000) # 必须是 16kHz 单声道
pipe = ov_genai.ASRPipeline("whisper-turbo-ov", "GPU")
result = pipe.generate(audio.tolist(), return_timestamps=True)
for c in result.chunks[0]:
print(f"[{c.start_ts:.2f} - {c.end_ts:.2f}] {c.text}")
Windows 上三条路的差别只在路径和端口,Python 代码一行不用改。device 传 "GPU" 就是 Intel 显卡,传 "CPU" 就是 CPU,传 "AUTO" 让运行时自己选——生产环境建议写死,别用 AUTO。
模型档位:显存和速度不是线性关系
whisper.cpp 官方 README 给了一张内存表,这是少见的、可以直接引用的数字。
| 档位 | 磁盘(GGML) | 运行时内存 | 相对速度 |
|---|---|---|---|
| tiny | 75 MiB | 约 273 MB | 最快 |
| base | 142 MiB | 约 388 MB | 快 |
| small | 466 MiB | 约 852 MB | 中 |
| medium | 1.5 GiB | 约 2.1 GB | 慢 |
| large | 2.9 GiB | 约 3.9 GB | 最慢 |
这张表里 large 是 2.9GiB,但 large-v3 和 large-v3-turbo 要分开看。turbo 把解码层从 32 层砍到 4 层,权重体积大约是 large-v3 的一半,速度却是两倍以上——它砍掉的正是自回归解码里最贵的部分。
12GB 卡上,这些模型全都能放进去,显存从来不是瓶颈。large-v3 在 OpenVINO 上的实测占用在 4GiB 上下(iGPU 平台测到 3.94–4.39GiB,其中解码器的自注意力 KV 在 fp32 下就占 1.37GiB),对 12GB 卡来说余量充足。如果你习惯先算总账,可以套显存估算表里的口径,但这项任务的约束不在容量上。
真正的瓶颈是解码速度。Whisper 的 decoder 逐 token 生成,一条 30 秒音频大约要几百个解码步,每一步都要过一次完整的前向。这就是为什么「模型大一档,速度掉一半」在 Whisper 上成立得特别明显。
算力够不够,用 RTF 判断最直接。RTF 小于 1 表示比实时快,等于 1 表示刚好跟上,大于 1 表示要排队。做会议转写,RTF 到 5 以下就开始难受;做离线批量转写,RTF 20 也能接受,因为可以挂着跑。
档位选择在中文上还有个额外变量:turbo 的解码层只有 4 层,对长尾语言和专有名词的纠偏能力弱于 large-v3。这不是准确率的整体差距,而是错误类型的差别——large-v3 更少写错人名和术语,turbo 更容易跟着上文走偏。
工程上的补偿手段是 initial_prompt。它会被放在第一个窗口的 <|startofprev|> 之后,作为「上一次转写」喂给模型。把项目名、产品名、专有缩写写进去,turbo 的术语错误能压下去一大截,代价几乎为零。这个参数在三条路上都支持,OpenVINO GenAI 里叫 initial_prompt,whisper.cpp 里是 --prompt。
实测数字怎么读
下面这组数字来自一位开发者在 Arc A770 16GB 上的公开测试(Windows 11、Ryzen 5 5600、44 秒英文音频、预热后取两次最快值、OpenVINO 后端 FP16)。
| 模型 | 设备 | 耗时 | 实时倍速 |
|---|---|---|---|
| large-v3-turbo FP16 | A770 GPU | 0.79 s | 55.5× |
| large-v3-turbo FP16(含 VAD) | A770 GPU | 1.06 s | 41.6× |
| large-v3 FP16 | A770 GPU | 2.71 s | 16.3× |
| large-v3-turbo FP16 | Ryzen 5 5600 CPU | 11.44 s | 3.8× |
| large-v3 FP16 | Ryzen 5 5600 CPU | 19.36 s | 2.3× |
三个结论可以直接读出来。第一,GPU 相对 CPU 的加速在 turbo 上是 14 倍量级,在 large-v3 上是 7 倍量级,模型越大,GPU 的相对收益越小——因为 CPU 侧的瓶颈也在 decoder 的串行性上。第二,turbo 相对 large-v3 的加速是 3.4 倍,和「解码层 32 变 4」的架构改动对得上。第三,VAD 的额外开销约 27%,这是纯 CPU 计算,和显卡无关。
同一份测试里有个容易被忽略的数字:模型首次加载耗时 511 秒。这是 OpenVINO 在 GPU 上编译图的代价,一个进程只付一次,批量转写时会摊薄;但如果你的用法是「每次调用起一个进程」,这 8 分半会是灾难。
换到核显平台,量级会掉一档。另一位开发者在笔记本核显上用 OpenVINO GenAI 跑 14 分钟音频,greedy 解码是 14.8×;同一台机器上 NPU 只有 5.9×,词级时间戳一开还直接挂死。短音频场景下另有一组数据:large-v3 约 5.4×、turbo 约 13×,比例关系和独显一致。
这些数字的测试条件各不相同,不能横向拼接成一张排行榜。可以拿来判断的是比例:独显对 CPU 大约是 7 到 14 倍,turbo 对 large-v3 大约 3 倍,VAD 开销约四分之一。把自己机器上的一个绝对值测出来,再用这几个比例外推,比抄别人的数字可靠。
只有核显时,CPU 批处理可能更划算
上面所有对比都假设你有一张独显。如果机器只有 Core Ultra 的核显,结论会反过来:faster-whisper 的 CPU 路径加批处理,很可能比核显更快。
理由有两个。CTranslate2 在 Intel CPU 上走 MKL / oneDNN,int8 量化是它的默认强项;再叠上 batched 推理——把多个 30 秒窗口拼成一个 batch 并行解码——官方口径是额外 2 到 4 倍。核显的算力本来就只有独显的几分之一,一旦被批处理追平,GPU 的优势就没了。
代价是内存带宽。核显和 CPU 共享同一套 DDR5,编码器和解码器同时跑时会互相抢带宽,表现是「单独跑不慢,一起跑就卡」。独显有独立的 GDDR6,没有这个问题。
所以选型要按硬件分叉:有 Arc 独显,GPU 路线明显划算;只有核显,先用 faster-whisper 的 --compute_type int8 --batched True 测一遍,再决定要不要折腾 OpenVINO。两条路的部署复杂度差不多,别为了「用上 GPU」而用 GPU。
顺带说一句量化。whisper.cpp 支持用 quantize 把模型压成 Q5_0 之类的整数量化版本,官方说明是占用更少内存和磁盘,部分硬件上处理效率更高。对 Whisper 这种 encoder 为主的结构,量化对准确率的影响比大语言模型小,值得一试。
长音频:30 秒窗口、时间戳与幻觉
Whisper 原生只吃 30 秒音频,更长的部分靠外层切窗。三条路的切法不一样,结果也不一样。
OpenVINO GenAI 的 ASRPipeline 自己切:音频按 30 秒分段、顺序处理、合并结果。你只管把 16kHz 单声道浮点数组喂进去,切片逻辑不用写。代价是窗口边界上的词可能被切断,需要靠 initial_prompt 把上文带过去。
whisper.cpp 侧是调用方自己切,或者用内置的 -ml 控制每行长度。它的时间戳精度取决于是否开了词级输出,段落级时间戳在切窗处会有几十毫秒的漂移,做字幕时要留余量。
切窗最常见的错误是把边界切在词中间。30 秒硬切的话,跨边界的词会被拆成两半,前半段末尾多出一个残字,后半段开头再补一个。解法是在静音处切,或者让相邻窗口重叠半秒,再按时间戳去重。
做 SRT 时还有一层:段落的起止时间要和文本行的长度匹配,一句 20 字的话给 0.8 秒,人眼跟不上。OpenVINO GenAI 输出的 chunks 是段落级,words 是词级,后者才能做出合规的字幕时长。
时间戳这件事在 OpenVINO GenAI 里有个坑:词级时间戳需要在构造 pipeline 时就传 word_timestamps=True,只写在生成配置里不生效。官方文档给的理由是要拆解 cross-attention 的 SDPA 层,属于图结构层面的改动,运行期改不了。
另一个更麻烦的问题是可复现性。有开发者用同一段公开会议音频、同一张卡、同样的参数跑 faster-whisper,词错率(WER,word error rate)在 21.2% 到 27.9% 之间波动。
原因是温度回退机制:某个 30 秒窗口在温度 0 下没通过校验(比如陷入重复),就会被重新采样,而采样器的随机种子每个进程不同,后面所有窗口都跟着变。
这个现象不是 faster-whisper 独有,是所有实现了温度回退的 Whisper 推理栈的共性。想拿到稳定结果,要么固定温度不回落,要么把长音频切成带上下文的短段分别跑。评估阶段尤其要注意:单次整文件跑出来的 WER 没有比较意义。
幻觉是另一个绕不开的点。静音段和极短音频最容易触发,典型表现是凭空出现「Thank you.」「字幕由 XX 提供」这类训练数据里的高频句子。工业界的做法是前置 VAD 只把语音段送进模型,再对结果做时间轴门控——落在非语音区间的文本一律丢弃。
选型结论
| 需求 | 选择 | 理由 |
|---|---|---|
| 长期跑的服务、要 GPU 全链路 | OpenVINO GenAI ASRPipeline | encoder + decoder 都在 GPU,切窗和时间戳内置 |
| 单文件分发、离线工具、Windows | whisper.cpp Vulkan | 一个 exe 加一个模型文件,无 Python 依赖 |
| Linux 服务器、Arc 独显、追求极限 | whisper.cpp SYCL | 整网在 GPU,需 oneAPI,Windows 不支持 |
| 只想要最快上手 | OpenVINO + optimum-cli 导出 | 三行 Python 能跑通,device 改一个字符串切设备 |
| 已有 NVIDIA 卡 | faster-whisper | CTranslate2 的 CUDA 路径成熟,batched 推理更快 |
如果目标是「把一批录音转成字幕」,选 OpenVINO GenAI,用 turbo 档,开 VAD。这个组合在 A770 上是 41 倍实时,一小时音频两三分钟出结果,词级时间戳可用。
如果目标是把转写嵌进一个桌面应用,选 whisper.cpp Vulkan,模型用 ggml-large-v3-turbo。它不需要用户装 Python 或 oneAPI,代价是没有 GPU 时会退到 CPU 且慢很多。
SYCL 这条路现在的定位是「Linux 上的性能选项」,不是「推荐路径」。它的 README_sycl.md 在 Todo 里还写着「支持 Windows 构建」和「支持多卡」,这两条没完成之前,它不适合作为产品依赖。
怎么验证自己踩没踩坑
先确认 GPU 真的在干活。whisper.cpp SYCL 启动时会打印 found N SYCL devices 和 Using device 0 (...),看不到 Arc 的名字就是没走 GPU;GGML_SYCL_DEVICE=0 可以显式指定。OpenVINO 侧用 xpu-smi stats -d 0 看引擎利用率,转写时如果 GPU 利用率贴着 0,说明图被回退到 CPU 了。
再确认模型档位没选错。跑一段 10 分钟音频,记录耗时,算出 RTF。RTF 大于 2 就说明选档偏大,往下退一档(large-v3 → turbo 或 medium → small)通常能把 RTF 砍一半,而中文场景下 turbo 的准确率损失很小。
最后确认结果稳定。同一段音频连跑三次,比对文本。有差异就是温度回退在起作用,把 temperature 固定成 0 并关掉回退再测;如果差异消失,说明之前看到的 WER 波动是采样造成的,不是模型问题。
还有一个反向检查:把 device 强行改成 "CPU" 跑同一段音频,对比两次的耗时比值。GPU 相对 CPU 的加速如果只有 1.5 倍以内,基本可以断定图没完全跑在 GPU 上——正常情况这个比值应该在 5 倍以上。
一个补充:OpenVINO 的 int8 模型是用 optimum-cli export openvino --quant-mode int8 --dataset librispeech --num-samples 32 导出的,需要校准集。直接用 fp16 更省事,显存也够,只有在核显或内存受限的机器上才值得换 int8。
登录后可点赞、收藏与反馈。