ऑटोमैटिक कैप्शन कितने सटीक हैं?
Captions Cut बनाने वाले व्यक्ति द्वारा। तथ्य को स्रोत में सूचीबद्ध पेजों से जाँचे गए।
संक्षिप्त जवाब
किसी प्रमुख भाषा की साफ़ बोली पर आज की सबसे अच्छी बोली पहचान 100 में से लगभग 95 से 98 शब्द सही पकड़ती है (वर्ड एरर रेट 2 से 5%)। फिर भी 45 सेकंड की क्लिप में कुछ गलतियाँ रह जाती हैं, आमतौर पर नामों, स्लैंग और संख्याओं में। बैकग्राउंड शोर, दूर के माइक्रोफ़ोन, एक-दूसरे पर बोलते लोगों, तेज़ लहजों और कम संसाधन वाली भाषाओं में सटीकता तेज़ी से गिरती है, इसलिए पोस्ट करने से पहले हर कैप्शन पढ़ें।
वर्ड एरर रेट, सरल शब्दों में
वर्ड एरर रेट (WER) हर सौ बोले शब्दों में उन शब्दों को गिनता है जो सिस्टम गलत पकड़ता है (बदले हुए, छूटे हुए या जोड़े हुए)। 5% WER का मतलब है लगभग हर बीस शब्द में एक गलती। छोटी क्लिप में 100 से 150 शब्द होते हैं, इसलिए एक बेहतरीन सिस्टम भी आमतौर पर कुछ ठीक करने को छोड़ देता है।
सिस्टम क्या स्कोर करते हैं
| बेंचमार्क | नतीजा | किसने मापा |
|---|---|---|
| Artificial Analysis, असली दुनिया के लगभग 8 घंटे के अंग्रेज़ी ऑडियो पर | ElevenLabs Scribe v2: 2.2% WER, टेस्ट किए गए मॉडल में लगभग चौथे स्थान पर | स्वतंत्र बेंचमार्क |
| AssemblyAI के अपने डेटासेट | उसका Universal-3.5 Pro 4.35%; GPT-4o Transcribe 5.34%; Scribe v2 5.87%; Deepgram Nova-3 6.66% | AssemblyAI (एक विक्रेता) |
| LibriSpeech test-clean (पढ़ी गई ऑडियोबुक) | Whisper large-v2: 2.7% WER | OpenAI का Whisper पेपर |
| ElevenLabs के अपने भाषा-स्तर | अंग्रेज़ी, फ़्रेंच, जर्मन, स्पेनिश और जापानी के लिए 5% या कम; उर्दू, योरूबा और ज़ुलु के लिए 20 से 50% | ElevenLabs (एक विक्रेता) |
यह किससे विफल होता है
- शोर और दूरी। CHiME-6 चैलेंज में, कमरे के आर-पार बात करते लोगों की रिकॉर्डिंग पर बेसलाइन सिस्टम का WER लगभग 51% रहा।
- कौन बोल रहा है। PNAS में 2020 के एक अध्ययन ने पाया कि पाँच व्यावसायिक सिस्टम का औसत WER अश्वेत वक्ताओं के लिए 35% और श्वेत वक्ताओं के लिए 19% था।
- एक-दूसरे पर बोलना और मिली-जुली भाषाएँ। YouTube अपने कैप्शन के विफल होने के कारणों में एक-दूसरे पर बोलते लोगों, मिली-जुली भाषाओं और लंबी खामोशी को गिनता है।
- मनगढ़ंत टेक्स्ट। Whisper पेपर में लिखा है कि मॉडल कभी-कभी ऑडियो से असंबंधित टेक्स्ट दे सकते हैं।
ज़्यादा साफ़ कैप्शन पाना
- माइक्रोफ़ोन के पास रिकॉर्ड करें, संगीत और ट्रैफ़िक से दूर।
- छोटी या मिली-जुली क्लिप में ऑटो-डिटेक्ट के बजाय बोली गई भाषा खुद चुनें।
- एक्सपोर्ट करने से पहले ट्रांसक्रिप्ट पढ़ें। Captions Cut में हर शब्द एडिट किया जा सकता है: टेक्स्ट या उसकी टाइमिंग ठीक करने के लिए उस पर टैप करें।
हमने कैसे जाँचा
विक्रेता अपने चुने बेंचमार्क पर खुद को पहले नंबर पर रखते हैं, इसलिए उनके आँकड़ों पर उन्हीं का लेबल है और विक्रेताओं के बीच उनकी तुलना नहीं की गई। स्वतंत्र आँकड़ा Artificial Analysis का है। 22 अक्टूबर 2026 को पढ़ा गया।
सवाल
क्या ऑटोमैटिक कैप्शन बिना जाँचे पोस्ट करने लायक सटीक होते हैं?
कम ही। 2 से 5% WER पर भी छोटी क्लिप में आमतौर पर एक-दो गलतियाँ होती हैं, अक्सर किसी नाम में। पहले उन्हें पढ़ लें।
कौन-सी भाषाएँ सबसे अच्छी ट्रांसक्राइब होती हैं?
ज़्यादा बोली जाने वाली भाषाएँ जिनका बहुत ट्रेनिंग डेटा है (अंग्रेज़ी, स्पेनिश, फ़्रेंच, जर्मन, जापानी और अन्य) सबसे अच्छा स्कोर करती हैं। Captions Cut 53 भाषाओं को ट्रांसक्राइब करता है; कम संसाधन वाली भाषाओं में ज़्यादा सुधार करना पड़ता है।
स्रोत
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: बेंचमार्क
- Radford et al. (2022), Whisper
- ElevenLabs: स्पीच टू टेक्स्ट
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: ऑटोमैटिक कैप्शन
हर पेज को पढ़ा गया।