个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
资讯 人工智能 NVIDIA Nemotron 3.5 Transcribe Technical Report

中文会议录音转文字怎么选:英文第一的开源模型错三成

NVIDIA Nemotron 3.5 Transcribe 拿下英文 Open ASR 榜首,官方技术报告里中文远场会议的 cpCER 却是 32.91% 与 34.95%,关掉循环护栏还要涨到 45% 以上。这篇拆开数字的来历,讲清中文会议该用哪条方案、怎么部署。

2026年11月18日 9 小时前 作者 站长 约 6 分钟 10 阅读

如果你准备用开源语音识别模型把会议录音转成文字,最先看到的那个榜单大概帮不上忙。英文榜排第一的模型,换到中文远场会议上,错的可能比你想的多。下面把 NVIDIA 官方技术报告里的数字拆开,讲清错在哪、为什么错,以及中文场景真正该用的那套东西。

三句话先说结论:

  1. 英文、单人、近场录音,Nemotron 3.5 Transcribe 是当前开源里最强的一档,一个模型同时出转录、说话人归属、词级时间戳和翻译。
  2. 中文多人会议,不要选它。 NVIDIA 自己在技术报告里写了:AISHELL-4 的 cpCER 是 32.91%,AliMeeting 是 34.95%。
  3. 中文会议的现实路线是 FunASR 那一套——SenseVoice / Paraformer 加 FSMN-VAD 和 CAM++,代码 MIT、CPU 能跑、接口和 OpenAI 兼容。

32.91% 这个数字,到底错在哪

报告第 13 张表(Table 13)里有这么两行,口径写得很清楚:AISHELL-4 与 AliMeeting 各取 20 个完整 session,用远场麦克风阵列的第一通道,按 cpCER(concatenated minimum-permutation character error rate)打分。

语料场景cpCER
AISHELL-4中文远场会议32.91%
AliMeeting中文远场会议34.95%
AMI(耳机混音)英文会议10.29%
AMI(远场麦克风)英文会议17.34%

读这个数字要注意两点,否则容易判错。

第一,cpCER 不是"字认错了三成"。 它是把"谁在什么时候说了什么"当成一个整体去比对:字错了算、说话人标签挂错了也算、句子切分错位了还算。所以 32.91% 里,有相当一部分是"字对了但归错了人"。它衡量的是整条会议纪要能不能直接用,而不是单纯的字准率。

第二,真正拉高这个数字的,是训练数据里的中文含量。 报告的表 2 给了训练音频的语言分布:中文普通话 2.32 万小时,占全部训练音频的 1.63%;英文是 474.5 千小时,占 35.67%。更要命的是多人中文:作者写明,模型在训练中"几乎没有见过中文多人对话",唯一的来源就是这两个语料的训练集,约 210 小时,占说话人归属类样本的 1.7%,占全部训练样本不到 0.01%。

还有一处比错误率更麻烦的细节。 报告说这两组中文会议里"生成循环"(generation loops,即模型反复吐同一句话)出现得更频繁,必须靠 loop guardrail 兜住;关掉这个护栏,cpCER 会直接涨到 45.55% 和 55.37%。也就是说,如果你自己封装推理脚本时漏了去重和截断逻辑,拿到的可能不是"错三成",而是"卡在某一句话上重复到超时"。

这三点加起来,结论很明确:它不是"中文差一点",而是训练配比上就没打算覆盖中文多人场景。

那它在什么任务上真领先

客观地说,英文和近场任务上,它确实强。

  • 英文 Open ASR 榜 9 个公开测试集平均 WER 4.71%,多语 7 语言平均 4.62%,报告称是开源权重里的最好成绩。
  • 结构是"语音编码器 + 冻结的说话人分离模型 + Nemotron 3.5 Lightning 30B-A3B",总参数约 34B、激活约 4.3B(含音频编码器)。
  • 一个 checkpoint 用自然语言指令切换五种输出:逐字稿、书面化、带上下文实体、说话人归属、翻译;还支持语种识别和音频问答。
  • 上下文实体表这个功能很实用:给它一份人名/产品名清单,ContextASR-Bench 上的命名实体错误从 12.21% 降到 2.20%,接近六倍改善。
  • 支持最长 1 小时录音、65,536 token 上下文,可按需返回词级时间戳(靠一个 50M 的 CTC adapter 对齐),导字幕够用。
  • 许可证是 OpenMDW-1.1,允许商用。

硬件门槛分三档,选哪档直接决定成本:

权重版本体积典型硬件适用判断
BF16约 67.5 GBH100 80GB只做精度基准,不建议日常部署
FP8约 35 GBL40S 等 Ada/Hopper官方推荐:非英文精度优先时用这档
NVFP4约 21 GBRTX 5090 等 Blackwell显存或吞吐吃紧时用,代价是误差上升
GGUF视量化而定NeMo-Speech.cpp想在 Mac 或纯 CPU 环境试跑时用

有一个默认前提必须说清楚:它是离线模型,不做流式。官方定位就是"处理录音",不能给实时会议做字幕,也不能塞进语音助手的实时回路。

Nemotron 单模型与 FunASR 四段流水线的链路对比

中文会议该用的那条路

中文会议的现实答案是 FunASR(通义实验室,托管在 ModelScope)。它不是一个模型,而是一套流水线:

  • Fun-ASR-Nano:约 800M 参数,覆盖中英日与中文方言、地域口音,比 34B 的转录大模型小两个数量级。
  • FSMN-VAD:先切出有效语音段,去掉静音和空白,长音频才不会被硬切。
  • CAM++:提取说话人 embedding 后聚类,给每个语音段挂匿名说话人编号(注意:是"这条录音里第几个人",不是声纹识别)。
  • 标点与 ITN:输出直接可读的文本,数字、日期会转成书面写法。

最小可跑流程大概是这样(官方 README 与站点示例给出的写法):

from funasr import AutoModel

model = AutoModel(
    model="iic/SenseVoiceSmall",
    vad_model="fsmn-vad",
    spk_model="cam++",
    device="cuda",   # 没有独显就写 cpu
)
res = model.generate(input="meeting.wav", hotword="产品名 20")
for seg in res[0]["sentence_info"]:
    print(seg["spk"], seg["start"], seg["end"], seg["sentence"])

sentence_info 里每条都带 spk、start、end、sentence 四个字段,转写结果和说话人标签天然对齐,不需要自己拼时间轴——这是它比"Whisper + pyannote 各跑一遍再对齐"省事的地方。pyannote 的说话人模型还是 gated 的,要申请、要 token;FunASR 的模型可以直接下。如果只是想先摸清 Whisper 在自家显卡上能跑多快,站内这篇三种后端的实测对比可以先看。

如果需要服务化,它提供了 OpenAI 兼容端点,LangChain、Dify、AutoGen 这类框架不用改代码:

curl --fail-with-body http://127.0.0.1:8000/v1/audio/transcriptions \
  -F file=@meeting.wav \
  -F model=sensevoice \
  -F response_format=verbose_json

许可证要说清楚:代码是 MIT,预训练权重单独授权,部分模型卡会指向 FunASR 的模型开源许可协议。商用前看那张卡,别只看到仓库首页的 MIT 就下判断。

三个真正会踩的坑,和一张选型表

一、说话人数量别交给模型猜。 CAM++ 是聚类,人数未知时它会自己决定分几类,人数少、音色接近的会议容易过分割。FunASR 官方博客里有一段 227 秒的会议录音,被切成 77 句、分出 11 个说话人——真实会议往往没这么多人。做法是给一个说话人上限,或者在拿到 sentence_info 后按时间连续性和 embedding 相似度做一次合并。

二、专有名词靠热词,不靠换更大的模型。 产品名、内部系统代号、人名,这些词在通用语料里本来就少,模型再大也猜不出来。FunASR 的热词走 SeACo-Paraformer 方案,直接给 hotword 参数;Nemotron 那边对应的是"上下文实体表"。两条路都是同一个思路:把领域词表喂进去,比换模型便宜得多。

三、长音频的字幕要自己重排。 VAD 切段之后,句子边界是"语音段边界"而不是"语义边界",跨段指代("这个方案"指上一段说的东西)会断。做会议纪要没问题,做视频字幕就得按标点和时长重新切一次;一小时的录音建议按 10–15 分钟分块处理,既控制显存也方便失败重跑。分块大小怎么和显存、量化档位配比,站内这张显存对照表给过一个可套用的算法。

按场景做模型选型

你的场景建议方案理由
英文播客、英文会议、需要中英互译Nemotron 3.5 Transcribe(FP8 档)英文精度开源第一,一个模型出完转录+说话人+翻译
中文多人会议、访谈、客服录音FunASR(SenseVoice + FSMN-VAD + CAM++)中文优化、说话人标签对齐、CPU 可跑
中文单人、近场、要极简部署Fun-ASR-Nano800M 参数,8GB 显存级别就够
实时字幕、直播转写都不合适Nemotron 明确是离线;FunASR 流式要自己跑 WebSocket 服务
极低算力(无独显)FunASR + device="cpu"慢,但能出结果

榜单衡量的是"清晰的英文单人语音",不是你的会议室。选型时先问一句:我的音频是几个人、说什么语言、麦克风离嘴多远。这三个答案,比任何一个 WER 数字都更能决定结果。

登录后可点赞、收藏与反馈。

继续阅读 NEXT

更多 →