自動字幕的準確度如何?

由 Captions Cut 開發者撰寫。資料查證日期為,來源列於「資料來源」之下。

簡短回答

在主要語言的清晰語音上,目前最好的語音辨識每 100 個字大約能答對 95 到 98 個(字詞錯誤率為 2 到 5%)。這表示 45 秒的片段仍會有幾處錯誤,通常出現在人名、俚語和數字。在背景雜訊、麥克風距離遠、多人說話重疊、口音濃重,以及資源較少的語言中,準確度會大幅下降,所以發佈前請檢查每一則字幕。

用白話解釋字詞錯誤率

字詞錯誤率(WER)計算每說一百個字時,系統辨識錯誤(替換、遺漏或多出)的字詞數。5% 的 WER 表示大約每二十個字出現一個錯誤。一段短片段有 100 到 150 個字,所以即使是極好的系統,通常也還是有需要修正的地方。

各系統的得分

基準測試結果測量者
Artificial Analysis,約 8 小時的真實英文音訊ElevenLabs Scribe v2:WER 2.2%,在受測模型中約排第四獨立基準測試
AssemblyAI 自己的資料集其 Universal-3.5 Pro 為 4.35%;GPT-4o Transcribe 為 5.34%;Scribe v2 為 5.87%;Deepgram Nova-3 為 6.66%AssemblyAI(廠商)
LibriSpeech test-clean(朗讀有聲書)Whisper large-v2:WER 2.7%OpenAI 的 Whisper 論文
ElevenLabs 自己的語言分級英文、法文、德文、西班牙文和日文為 5% 以下;烏爾都文、約魯巴文和祖魯文為 20 到 50%ElevenLabs(廠商)

什麼會導致失敗

  • 雜訊與距離。在 CHiME-6 挑戰中,人們隔著房間交談的錄音,基準系統的 WER 約為 51%。
  • 說話者是誰。2020 年發表於 PNAS 的一項研究發現,五套商用系統對黑人說話者的平均 WER 為 35%,對白人說話者則為 19%。
  • 重疊與混合語言。YouTube 將說話者重疊、混合語言和長時間無聲列為其自己的字幕失敗的原因。
  • 無中生有。Whisper 論文指出,模型偶爾會輸出與音訊無關的文字。

讓字幕更乾淨

  • 靠近麥克風錄音,遠離音樂和車流聲。
  • 在短片段或混合語言的片段中,請自行選擇語音語言,而不要用自動偵測。
  • 輸出前先閱讀逐字稿。在 Captions Cut 中每個字都能編輯:點一下即可修正文字或其時間。

我們如何查證

廠商會在自己選擇的基準測試中把自己排在第一,所以其數字會標示為廠商自己的,並不在廠商之間互相比較。獨立的數字來自 Artificial Analysis。於 2026 年 10 月 22 日讀取。

常見問題

自動字幕的準確度夠高,可以不檢查就發佈嗎?

很少。即使 WER 只有 2 到 5%,一段短片段通常也會有一兩處錯誤,往往是人名。請先讀過。

哪些語言的轉錄效果最好?

使用者眾多且訓練資料豐富的語言(英文、西班牙文、法文、德文、日文等)得分最高。Captions Cut 可轉錄 53 種;資源較少的語言需要更多修正。

資料來源

每個頁面皆於 讀取。