自動字幕的準確度如何?
由 Captions Cut 開發者撰寫。資料查證日期為,來源列於「資料來源」之下。
簡短回答
在主要語言的清晰語音上,目前最好的語音辨識每 100 個字大約能答對 95 到 98 個(字詞錯誤率為 2 到 5%)。這表示 45 秒的片段仍會有幾處錯誤,通常出現在人名、俚語和數字。在背景雜訊、麥克風距離遠、多人說話重疊、口音濃重,以及資源較少的語言中,準確度會大幅下降,所以發佈前請檢查每一則字幕。
用白話解釋字詞錯誤率
字詞錯誤率(WER)計算每說一百個字時,系統辨識錯誤(替換、遺漏或多出)的字詞數。5% 的 WER 表示大約每二十個字出現一個錯誤。一段短片段有 100 到 150 個字,所以即使是極好的系統,通常也還是有需要修正的地方。
各系統的得分
| 基準測試 | 結果 | 測量者 |
|---|---|---|
| Artificial Analysis,約 8 小時的真實英文音訊 | ElevenLabs Scribe v2:WER 2.2%,在受測模型中約排第四 | 獨立基準測試 |
| AssemblyAI 自己的資料集 | 其 Universal-3.5 Pro 為 4.35%;GPT-4o Transcribe 為 5.34%;Scribe v2 為 5.87%;Deepgram Nova-3 為 6.66% | AssemblyAI(廠商) |
| LibriSpeech test-clean(朗讀有聲書) | Whisper large-v2:WER 2.7% | OpenAI 的 Whisper 論文 |
| ElevenLabs 自己的語言分級 | 英文、法文、德文、西班牙文和日文為 5% 以下;烏爾都文、約魯巴文和祖魯文為 20 到 50% | ElevenLabs(廠商) |
什麼會導致失敗
- 雜訊與距離。在 CHiME-6 挑戰中,人們隔著房間交談的錄音,基準系統的 WER 約為 51%。
- 說話者是誰。2020 年發表於 PNAS 的一項研究發現,五套商用系統對黑人說話者的平均 WER 為 35%,對白人說話者則為 19%。
- 重疊與混合語言。YouTube 將說話者重疊、混合語言和長時間無聲列為其自己的字幕失敗的原因。
- 無中生有。Whisper 論文指出,模型偶爾會輸出與音訊無關的文字。
讓字幕更乾淨
- 靠近麥克風錄音,遠離音樂和車流聲。
- 在短片段或混合語言的片段中,請自行選擇語音語言,而不要用自動偵測。
- 輸出前先閱讀逐字稿。在 Captions Cut 中每個字都能編輯:點一下即可修正文字或其時間。
我們如何查證
廠商會在自己選擇的基準測試中把自己排在第一,所以其數字會標示為廠商自己的,並不在廠商之間互相比較。獨立的數字來自 Artificial Analysis。於 2026 年 10 月 22 日讀取。
常見問題
自動字幕的準確度夠高,可以不檢查就發佈嗎?
很少。即使 WER 只有 2 到 5%,一段短片段通常也會有一兩處錯誤,往往是人名。請先讀過。
哪些語言的轉錄效果最好?
使用者眾多且訓練資料豐富的語言(英文、西班牙文、法文、德文、日文等)得分最高。Captions Cut 可轉錄 53 種;資源較少的語言需要更多修正。
資料來源
- Artificial Analysis:ElevenLabs Scribe v2
- AssemblyAI:基準測試
- Radford 等人(2022),Whisper
- ElevenLabs:語音轉文字
- Watanabe 等人(2020),CHiME-6
- Koenecke 等人(2020),PNAS
- YouTube:自動字幕
每個頁面皆於 讀取。