中文会议录音转文字怎么选:英文第一的开源模型错三成
NVIDIA Nemotron 3.5 Transcribe 拿下英文 Open ASR 榜首,官方技术报告里中文远场会议的 cpCER 却是 32.91% 与 34.95%,关掉循环护栏还要涨到 45% 以上。这篇拆开数字的来历,讲清中文会议该用哪条方案、怎么部署。
如果你准备用开源语音识别模型把会议录音转成文字,最先看到的那个榜单大概帮不上忙。英文榜排第一的模型,换到中文远场会议上,错的可能比你想的多。下面把 NVIDIA 官方技术报告里的数字拆开,讲清错在哪、为什么错,以及中文场景真正该用的那套东西。
三句话先说结论:
- 英文、单人、近场录音,Nemotron 3.5 Transcribe 是当前开源里最强的一档,一个模型同时出转录、说话人归属、词级时间戳和翻译。
- 中文多人会议,不要选它。 NVIDIA 自己在技术报告里写了:AISHELL-4 的 cpCER 是 32.91%,AliMeeting 是 34.95%。
- 中文会议的现实路线是 FunASR 那一套——SenseVoice / Paraformer 加 FSMN-VAD 和 CAM++,代码 MIT、CPU 能跑、接口和 OpenAI 兼容。
32.91% 这个数字,到底错在哪
报告第 13 张表(Table 13)里有这么两行,口径写得很清楚:AISHELL-4 与 AliMeeting 各取 20 个完整 session,用远场麦克风阵列的第一通道,按 cpCER(concatenated minimum-permutation character error rate)打分。
| 语料 | 场景 | cpCER |
|---|---|---|
| AISHELL-4 | 中文远场会议 | 32.91% |
| AliMeeting | 中文远场会议 | 34.95% |
| AMI(耳机混音) | 英文会议 | 10.29% |
| AMI(远场麦克风) | 英文会议 | 17.34% |
读这个数字要注意两点,否则容易判错。
第一,cpCER 不是"字认错了三成"。 它是把"谁在什么时候说了什么"当成一个整体去比对:字错了算、说话人标签挂错了也算、句子切分错位了还算。所以 32.91% 里,有相当一部分是"字对了但归错了人"。它衡量的是整条会议纪要能不能直接用,而不是单纯的字准率。
第二,真正拉高这个数字的,是训练数据里的中文含量。 报告的表 2 给了训练音频的语言分布:中文普通话 2.32 万小时,占全部训练音频的 1.63%;英文是 474.5 千小时,占 35.67%。更要命的是多人中文:作者写明,模型在训练中"几乎没有见过中文多人对话",唯一的来源就是这两个语料的训练集,约 210 小时,占说话人归属类样本的 1.7%,占全部训练样本不到 0.01%。
还有一处比错误率更麻烦的细节。 报告说这两组中文会议里"生成循环"(generation loops,即模型反复吐同一句话)出现得更频繁,必须靠 loop guardrail 兜住;关掉这个护栏,cpCER 会直接涨到 45.55% 和 55.37%。也就是说,如果你自己封装推理脚本时漏了去重和截断逻辑,拿到的可能不是"错三成",而是"卡在某一句话上重复到超时"。
这三点加起来,结论很明确:它不是"中文差一点",而是训练配比上就没打算覆盖中文多人场景。
那它在什么任务上真领先
客观地说,英文和近场任务上,它确实强。
- 英文 Open ASR 榜 9 个公开测试集平均 WER 4.71%,多语 7 语言平均 4.62%,报告称是开源权重里的最好成绩。
- 结构是"语音编码器 + 冻结的说话人分离模型 + Nemotron 3.5 Lightning 30B-A3B",总参数约 34B、激活约 4.3B(含音频编码器)。
- 一个 checkpoint 用自然语言指令切换五种输出:逐字稿、书面化、带上下文实体、说话人归属、翻译;还支持语种识别和音频问答。
- 上下文实体表这个功能很实用:给它一份人名/产品名清单,ContextASR-Bench 上的命名实体错误从 12.21% 降到 2.20%,接近六倍改善。
- 支持最长 1 小时录音、65,536 token 上下文,可按需返回词级时间戳(靠一个 50M 的 CTC adapter 对齐),导字幕够用。
- 许可证是 OpenMDW-1.1,允许商用。
硬件门槛分三档,选哪档直接决定成本:
| 权重版本 | 体积 | 典型硬件 | 适用判断 |
|---|---|---|---|
| BF16 | 约 67.5 GB | H100 80GB | 只做精度基准,不建议日常部署 |
| FP8 | 约 35 GB | L40S 等 Ada/Hopper | 官方推荐:非英文精度优先时用这档 |
| NVFP4 | 约 21 GB | RTX 5090 等 Blackwell | 显存或吞吐吃紧时用,代价是误差上升 |
| GGUF | 视量化而定 | NeMo-Speech.cpp | 想在 Mac 或纯 CPU 环境试跑时用 |
有一个默认前提必须说清楚:它是离线模型,不做流式。官方定位就是"处理录音",不能给实时会议做字幕,也不能塞进语音助手的实时回路。
中文会议该用的那条路
中文会议的现实答案是 FunASR(通义实验室,托管在 ModelScope)。它不是一个模型,而是一套流水线:
- Fun-ASR-Nano:约 800M 参数,覆盖中英日与中文方言、地域口音,比 34B 的转录大模型小两个数量级。
- FSMN-VAD:先切出有效语音段,去掉静音和空白,长音频才不会被硬切。
- CAM++:提取说话人 embedding 后聚类,给每个语音段挂匿名说话人编号(注意:是"这条录音里第几个人",不是声纹识别)。
- 标点与 ITN:输出直接可读的文本,数字、日期会转成书面写法。
最小可跑流程大概是这样(官方 README 与站点示例给出的写法):
from funasr import AutoModel
model = AutoModel(
model="iic/SenseVoiceSmall",
vad_model="fsmn-vad",
spk_model="cam++",
device="cuda", # 没有独显就写 cpu
)
res = model.generate(input="meeting.wav", hotword="产品名 20")
for seg in res[0]["sentence_info"]:
print(seg["spk"], seg["start"], seg["end"], seg["sentence"])
sentence_info 里每条都带 spk、start、end、sentence 四个字段,转写结果和说话人标签天然对齐,不需要自己拼时间轴——这是它比"Whisper + pyannote 各跑一遍再对齐"省事的地方。pyannote 的说话人模型还是 gated 的,要申请、要 token;FunASR 的模型可以直接下。如果只是想先摸清 Whisper 在自家显卡上能跑多快,站内这篇三种后端的实测对比可以先看。
如果需要服务化,它提供了 OpenAI 兼容端点,LangChain、Dify、AutoGen 这类框架不用改代码:
curl --fail-with-body http://127.0.0.1:8000/v1/audio/transcriptions \
-F file=@meeting.wav \
-F model=sensevoice \
-F response_format=verbose_json
许可证要说清楚:代码是 MIT,预训练权重单独授权,部分模型卡会指向 FunASR 的模型开源许可协议。商用前看那张卡,别只看到仓库首页的 MIT 就下判断。
三个真正会踩的坑,和一张选型表
一、说话人数量别交给模型猜。 CAM++ 是聚类,人数未知时它会自己决定分几类,人数少、音色接近的会议容易过分割。FunASR 官方博客里有一段 227 秒的会议录音,被切成 77 句、分出 11 个说话人——真实会议往往没这么多人。做法是给一个说话人上限,或者在拿到 sentence_info 后按时间连续性和 embedding 相似度做一次合并。
二、专有名词靠热词,不靠换更大的模型。 产品名、内部系统代号、人名,这些词在通用语料里本来就少,模型再大也猜不出来。FunASR 的热词走 SeACo-Paraformer 方案,直接给 hotword 参数;Nemotron 那边对应的是"上下文实体表"。两条路都是同一个思路:把领域词表喂进去,比换模型便宜得多。
三、长音频的字幕要自己重排。 VAD 切段之后,句子边界是"语音段边界"而不是"语义边界",跨段指代("这个方案"指上一段说的东西)会断。做会议纪要没问题,做视频字幕就得按标点和时长重新切一次;一小时的录音建议按 10–15 分钟分块处理,既控制显存也方便失败重跑。分块大小怎么和显存、量化档位配比,站内这张显存对照表给过一个可套用的算法。
按场景做模型选型
| 你的场景 | 建议方案 | 理由 |
|---|---|---|
| 英文播客、英文会议、需要中英互译 | Nemotron 3.5 Transcribe(FP8 档) | 英文精度开源第一,一个模型出完转录+说话人+翻译 |
| 中文多人会议、访谈、客服录音 | FunASR(SenseVoice + FSMN-VAD + CAM++) | 中文优化、说话人标签对齐、CPU 可跑 |
| 中文单人、近场、要极简部署 | Fun-ASR-Nano | 800M 参数,8GB 显存级别就够 |
| 实时字幕、直播转写 | 都不合适 | Nemotron 明确是离线;FunASR 流式要自己跑 WebSocket 服务 |
| 极低算力(无独显) | FunASR + device="cpu" | 慢,但能出结果 |
榜单衡量的是"清晰的英文单人语音",不是你的会议室。选型时先问一句:我的音频是几个人、说什么语言、麦克风离嘴多远。这三个答案,比任何一个 WER 数字都更能决定结果。
登录后可点赞、收藏与反馈。