Setepat manakah sari kata automatik?
Oleh pembuat Captions Cut. Fakta disemak pada daripada halaman yang disenaraikan di bawah Sumber.
Jawapan ringkas
Pada pertuturan yang jelas dalam bahasa utama, pengecaman pertuturan terbaik hari ini mendapat kira-kira 95 hingga 98 perkataan betul daripada 100 (kadar ralat perkataan 2 hingga 5%). Itu masih meninggalkan beberapa kesilapan dalam klip 45 saat, biasanya pada nama, bahasa slanga dan nombor. Ketepatan menurun dengan ketara dengan bunyi latar, mikrofon yang jauh, penutur yang bertindih, loghat yang kuat dan bahasa yang kurang bersumber, jadi baca setiap sari kata sebelum menyiarkan.
Kadar ralat perkataan, dalam bahasa mudah
Kadar ralat perkataan (WER) mengira perkataan yang salah oleh sesebuah sistem (digantikan, ditinggalkan atau ditambah) bagi setiap seratus yang dituturkan. WER 5% bermaksud kira-kira satu kesilapan setiap dua puluh perkataan. Klip pendek mempunyai 100 hingga 150 perkataan, jadi sistem yang cemerlang pun biasanya meninggalkan sesuatu untuk dibetulkan.
Skor sistem
| Penanda aras | Keputusan | Siapa yang mengukur |
|---|---|---|
| Artificial Analysis, ~8 jam audio bahasa Inggeris dunia sebenar | ElevenLabs Scribe v2: WER 2.2%, kira-kira keempat daripada model yang diuji | Penanda aras bebas |
| Set data AssemblyAI sendiri | Universal-3.5 Pro miliknya 4.35%; GPT-4o Transcribe 5.34%; Scribe v2 5.87%; Deepgram Nova-3 6.66% | AssemblyAI (vendor) |
| LibriSpeech test-clean (buku audio yang dibaca) | Whisper large-v2: WER 2.7% | Kertas Whisper OpenAI |
| Peringkat bahasa ElevenLabs sendiri | 5% atau kurang untuk bahasa Inggeris, Perancis, Jerman, Sepanyol dan Jepun; 20 hingga 50% untuk Urdu, Yoruba dan Zulu | ElevenLabs (vendor) |
Apa yang menyebabkannya gagal
- Bunyi bising dan jarak. Dalam cabaran CHiME-6, rakaman orang bercakap merentasi bilik mendapat skor sekitar 51% WER bagi sistem asas.
- Siapa yang bercakap. Kajian 2020 dalam PNAS mendapati lima sistem komersial purata WER 35% bagi penutur kulit hitam berbanding 19% bagi penutur kulit putih.
- Pertindihan dan bahasa bercampur. YouTube menyenaraikan penutur bertindih, bahasa bercampur dan kesenyapan yang panjang antara sebab sari katanya sendiri gagal.
- Rekaan. Kertas Whisper menyatakan bahawa model kadangkala boleh mengeluarkan teks yang tidak berkaitan dengan audio.
Mendapatkan sari kata yang lebih bersih
- Rakam dekat dengan mikrofon, jauh daripada muzik dan lalu lintas.
- Pilih bahasa pertuturan dan bukannya mengesannya secara automatik pada klip pendek atau klip berbilang bahasa.
- Baca transkrip sebelum mengeksport. Dalam Captions Cut, setiap perkataan boleh diedit: ketik untuk membetulkan teks atau masanya.
Cara kami menyemak
Vendor meletakkan diri mereka di tempat pertama pada penanda aras pilihan mereka sendiri, jadi angka mereka dilabelkan sebagai milik mereka dan tidak dibandingkan antara vendor. Angka bebas ialah milik Artificial Analysis. Dibaca pada 22 Oktober 2026.
Soalan
Adakah sari kata automatik cukup tepat untuk disiarkan tanpa menyemak?
Jarang. Walaupun pada WER 2 hingga 5%, klip pendek biasanya mempunyai satu atau dua kesilapan, selalunya pada nama. Baca dahulu.
Bahasa yang manakah ditranskripsi dengan paling baik?
Bahasa yang dituturkan secara meluas dengan banyak data latihan (Inggeris, Sepanyol, Perancis, Jerman, Jepun dan lain-lain) mendapat skor terbaik. Captions Cut mentranskripsi 53; bahasa yang kurang bersumber memerlukan lebih banyak pembetulan.
Sumber
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: penanda aras
- Radford et al. (2022), Whisper
- ElevenLabs: speech to text
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: sari kata automatik
Setiap halaman dibaca pada .
Letakkan sari kata pada video dalam pelayar anda Dapatkan apl iPhone