自动字幕有多准确?

作者为 Captions Cut 的开发者。信息核对于 ,来源见“来源”下列出的页面。

简短回答

对于主要语言的清晰语音,当今最好的语音识别每 100 个字词大约能对 95 到 98 个(词错误率为 2% 至 5%)。这意味着一段 45 秒的片段仍会有几处错误,通常出现在人名、俚语和数字上。背景噪音、麦克风距离远、多人同时说话、浓重口音以及资源较少的语言都会使准确率大幅下降,所以发布前请通读每条字幕。

词错误率,通俗地说

词错误率(WER)统计系统在每一百个口语词中出错的词数(替换、遗漏或多出)。5% 的 WER 意味着大约每二十个词出一个错。一段短片有 100 到 150 个词,所以即使是非常出色的系统,通常也还有需要修改的地方。

各系统得分

基准测试结果测量方
Artificial Analysis,约 8 小时真实英语音频ElevenLabs Scribe v2:WER 2.2%,在受测模型中约排第四独立基准测试
AssemblyAI 自己的数据集其 Universal-3.5 Pro 为 4.35%;GPT-4o Transcribe 为 5.34%;Scribe v2 为 5.87%;Deepgram Nova-3 为 6.66%AssemblyAI(厂商)
LibriSpeech test-clean(朗读有声书)Whisper large-v2:WER 2.7%OpenAI 的 Whisper 论文
ElevenLabs 自己的语言分级英语、法语、德语、西班牙语和日语为 5% 或更低;乌尔都语、约鲁巴语和祖鲁语为 20% 至 50%ElevenLabs(厂商)

哪些情况会出错

  • 噪音与距离。在 CHiME-6 挑战赛中,隔着房间交谈的录音,基线系统的 WER 约为 51%。
  • 谁在说话。2020 年 PNAS 上的一项研究发现,五个商用系统对黑人说话者的平均 WER 为 35%,而对白人说话者为 19%。
  • 重叠与混合语言。YouTube 把多人同时说话、混合语言和长时间静音列为其自动字幕出错的原因。
  • 凭空编造。Whisper 论文指出,模型偶尔会输出与音频无关的文字。

获得更干净的字幕

  • 靠近麦克风录音,远离音乐和车流声。
  • 对于较短或混合语言的片段,请直接选择语音语言,而不要自动检测。
  • 导出前先通读文字稿。在 Captions Cut 中,每个字词都可以编辑:轻点它即可修改文字或时间。

我们如何核对

各厂商都会在自己选定的基准测试中把自己排第一,所以这些数字都标明是其自己的,不在厂商之间比较。独立数据来自 Artificial Analysis。查阅于 2026 年 10 月 22 日。

常见问题

自动字幕足够准确,可以不检查直接发布吗?

很少可以。即使 WER 只有 2% 至 5%,一段短片通常也会有一两处错误,往往出在人名上。请先通读。

哪些语言的转录效果最好?

训练数据丰富、使用广泛的语言(英语、西班牙语、法语、德语、日语等)得分最高。Captions Cut 可转录 53 种语言;资源较少的语言需要更多修正。

来源

所有页面均读取于。