Seberapa akurat subtitel otomatis?
Oleh pembuat Captions Cut. Fakta diperiksa pada dari halaman yang tercantum di bawah Sumber.
Jawaban singkat
Pada ucapan yang jelas dalam bahasa utama, pengenalan ucapan terbaik saat ini benar sekitar 95 hingga 98 dari 100 kata (word error rate 2 hingga 5%). Itu tetap menyisakan beberapa kesalahan dalam klip 45 detik, biasanya pada nama, bahasa gaul, dan angka. Akurasi turun tajam dengan kebisingan latar, mikrofon yang jauh, pembicara yang tumpang tindih, aksen yang kuat, dan bahasa dengan sumber daya terbatas, jadi baca setiap subtitel sebelum memposting.
Word error rate, dalam bahasa sederhana
Word error rate (WER) menghitung kata yang salah diproses sistem (diganti, terlewat, atau ditambahkan) per seratus kata yang diucapkan. WER 5% berarti sekitar satu kesalahan setiap dua puluh kata. Klip pendek berisi 100 hingga 150 kata, jadi sistem yang sangat baik pun biasanya menyisakan sesuatu untuk diperbaiki.
Skor sistem
| Tolok ukur | Hasil | Siapa yang mengukur |
|---|---|---|
| Artificial Analysis, ~8 jam audio bahasa Inggris dunia nyata | ElevenLabs Scribe v2: WER 2,2%, sekitar peringkat keempat dari model yang diuji | Tolok ukur independen |
| Dataset AssemblyAI sendiri | Universal-3.5 Pro miliknya 4,35%; GPT-4o Transcribe 5,34%; Scribe v2 5,87%; Deepgram Nova-3 6,66% | AssemblyAI (vendor) |
| LibriSpeech test-clean (buku audio yang dibacakan) | Whisper large-v2: WER 2,7% | Makalah Whisper dari OpenAI |
| Tingkatan bahasa ElevenLabs sendiri | 5% atau kurang untuk bahasa Inggris, Prancis, Jerman, Spanyol, dan Jepang; 20 hingga 50% untuk Urdu, Yoruba, dan Zulu | ElevenLabs (vendor) |
Apa yang membuatnya gagal
- Kebisingan dan jarak. Dalam tantangan CHiME-6, rekaman orang berbicara dari seberang ruangan mendapat skor sekitar 51% WER untuk sistem dasar.
- Siapa yang berbicara. Studi 2020 di PNAS menemukan lima sistem komersial rata-rata mencapai 35% WER untuk pembicara kulit hitam dibandingkan 19% untuk pembicara kulit putih.
- Tumpang tindih dan bahasa campuran. YouTube mencantumkan pembicara yang tumpang tindih, bahasa campuran, dan keheningan panjang di antara alasan subtitelnya sendiri gagal.
- Karangan. Makalah Whisper mencatat bahwa model terkadang dapat menghasilkan teks yang tidak berkaitan dengan audio.
Mendapatkan subtitel yang lebih bersih
- Rekam dekat dengan mikrofon, jauh dari musik dan lalu lintas.
- Pilih bahasa lisan alih-alih mendeteksinya secara otomatis pada klip pendek atau campuran.
- Baca transkrip sebelum mengekspor. Di Captions Cut setiap kata dapat diedit: ketuk untuk memperbaiki teks atau waktunya.
Cara kami memeriksa
Vendor menempatkan diri mereka di peringkat pertama pada tolok ukur yang mereka pilih, jadi angka mereka diberi label sebagai milik mereka dan tidak dibandingkan antarvendor. Angka independen adalah milik Artificial Analysis. Dibaca pada 22 Oktober 2026.
Pertanyaan
Apakah subtitel otomatis cukup akurat untuk diposting tanpa diperiksa?
Jarang. Bahkan pada WER 2 hingga 5%, klip pendek biasanya memiliki satu atau dua kesalahan, sering pada nama. Bacalah terlebih dahulu.
Bahasa mana yang ditranskripsikan paling baik?
Bahasa yang banyak dituturkan dengan banyak data pelatihan (Inggris, Spanyol, Prancis, Jerman, Jepang, dan lainnya) mendapat skor terbaik. Captions Cut mentranskripsikan 53 bahasa; bahasa dengan sumber daya lebih terbatas memerlukan lebih banyak koreksi.
Sumber
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: tolok ukur
- Radford et al. (2022), Whisper
- ElevenLabs: speech to text
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: subtitel otomatis
Setiap halaman dibaca pada .
Beri subtitel pada video di browser Anda Dapatkan aplikasi iPhone