ਆਟੋਮੈਟਿਕ ਕੈਪਸ਼ਨ ਕਿੰਨੇ ਸਹੀ ਹਨ?
Captions Cut ਦੇ ਨਿਰਮਾਤਾ ਵੱਲੋਂ। ਤੱਥ ਨੂੰ ਸਰੋਤ ਹੇਠ ਦਿੱਤੇ ਪੰਨਿਆਂ ਤੋਂ ਜਾਂਚੇ ਗਏ।
ਛੋਟਾ ਜਵਾਬ
ਕਿਸੇ ਵੱਡੀ ਭਾਸ਼ਾ ਵਿੱਚ ਸਾਫ਼ ਬੋਲੀ 'ਤੇ ਅੱਜ ਦੀ ਸਭ ਤੋਂ ਵਧੀਆ ਸਪੀਚ ਰਿਕੋਗਨੀਸ਼ਨ 100 ਵਿੱਚੋਂ ਲਗਭਗ 95 ਤੋਂ 98 ਸ਼ਬਦ ਸਹੀ ਪਛਾਣਦੀ ਹੈ (ਵਰਡ ਐਰਰ ਰੇਟ 2 ਤੋਂ 5%)। ਫਿਰ ਵੀ 45 ਸਕਿੰਟ ਦੀ ਕਲਿੱਪ ਵਿੱਚ ਕੁਝ ਗ਼ਲਤੀਆਂ ਰਹਿ ਜਾਂਦੀਆਂ ਹਨ, ਆਮ ਤੌਰ 'ਤੇ ਨਾਵਾਂ, ਸਲੈਂਗ ਅਤੇ ਅੰਕਾਂ ਵਿੱਚ। ਪਿਛੋਕੜ ਦੇ ਸ਼ੋਰ, ਦੂਰ ਦੇ ਮਾਈਕ੍ਰੋਫ਼ੋਨ, ਇੱਕੋ ਸਮੇਂ ਬੋਲਦੇ ਲੋਕਾਂ, ਗੂੜ੍ਹੇ ਲਹਿਜ਼ਿਆਂ ਅਤੇ ਘੱਟ ਸਾਧਨਾਂ ਵਾਲੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸ਼ੁੱਧਤਾ ਤੇਜ਼ੀ ਨਾਲ ਘਟਦੀ ਹੈ, ਇਸ ਲਈ ਪੋਸਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹਰ ਕੈਪਸ਼ਨ ਪੜ੍ਹੋ।
ਵਰਡ ਐਰਰ ਰੇਟ, ਸਾਦੇ ਸ਼ਬਦਾਂ ਵਿੱਚ
ਵਰਡ ਐਰਰ ਰੇਟ (WER) ਹਰ ਸੌ ਬੋਲੇ ਸ਼ਬਦਾਂ ਪਿੱਛੇ ਉਹ ਸ਼ਬਦ ਗਿਣਦਾ ਹੈ ਜੋ ਸਿਸਟਮ ਗ਼ਲਤ ਕਰਦਾ ਹੈ (ਬਦਲੇ ਹੋਏ, ਛੁੱਟੇ ਹੋਏ ਜਾਂ ਵਾਧੂ)। 5% WER ਦਾ ਮਤਲਬ ਹੈ ਹਰ ਵੀਹ ਸ਼ਬਦਾਂ ਪਿੱਛੇ ਲਗਭਗ ਇੱਕ ਗ਼ਲਤੀ। ਛੋਟੀ ਕਲਿੱਪ ਵਿੱਚ 100 ਤੋਂ 150 ਸ਼ਬਦ ਹੁੰਦੇ ਹਨ, ਇਸ ਲਈ ਸ਼ਾਨਦਾਰ ਸਿਸਟਮ ਵੀ ਆਮ ਤੌਰ 'ਤੇ ਕੁਝ ਨਾ ਕੁਝ ਠੀਕ ਕਰਨ ਲਈ ਛੱਡ ਦਿੰਦਾ ਹੈ।
ਸਿਸਟਮ ਕਿੰਨੇ ਅੰਕ ਲੈਂਦੇ ਹਨ
| ਬੈਂਚਮਾਰਕ | ਨਤੀਜਾ | ਮਾਪਿਆ ਕਿਸ ਨੇ |
|---|---|---|
| Artificial Analysis, ਲਗਭਗ 8 ਘੰਟੇ ਦੀ ਅਸਲ-ਦੁਨੀਆ ਦੀ ਅੰਗਰੇਜ਼ੀ ਆਡੀਓ | ElevenLabs Scribe v2: 2.2% WER, ਪਰਖੇ ਗਏ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਲਗਭਗ ਚੌਥੇ ਨੰਬਰ 'ਤੇ | ਸੁਤੰਤਰ ਬੈਂਚਮਾਰਕ |
| AssemblyAI ਦੇ ਆਪਣੇ ਡੇਟਾਸੈੱਟ | ਇਸ ਦਾ Universal-3.5 Pro 4.35%; GPT-4o Transcribe 5.34%; Scribe v2 5.87%; Deepgram Nova-3 6.66% | AssemblyAI (ਇੱਕ ਵੇਂਡਰ) |
| LibriSpeech test-clean (ਪੜ੍ਹੀਆਂ ਗਈਆਂ ਆਡੀਓਬੁੱਕਾਂ) | Whisper large-v2: 2.7% WER | OpenAI ਦਾ Whisper ਪੇਪਰ |
| ElevenLabs ਦੇ ਆਪਣੇ ਭਾਸ਼ਾ ਪੱਧਰ | ਅੰਗਰੇਜ਼ੀ, ਫ਼ਰਾਂਸੀਸੀ, ਜਰਮਨ, ਸਪੇਨੀ ਅਤੇ ਜਾਪਾਨੀ ਲਈ 5% ਜਾਂ ਘੱਟ; ਉਰਦੂ, ਯੋਰੂਬਾ ਅਤੇ ਜ਼ੁਲੂ ਲਈ 20 ਤੋਂ 50% | ElevenLabs (ਇੱਕ ਵੇਂਡਰ) |
ਇਹ ਫ਼ੇਲ੍ਹ ਕਿਉਂ ਹੁੰਦੀ ਹੈ
- ਸ਼ੋਰ ਅਤੇ ਦੂਰੀ। CHiME-6 ਚੈਲੰਜ ਵਿੱਚ, ਕਮਰੇ ਦੇ ਦੂਜੇ ਪਾਸਿਓਂ ਗੱਲ ਕਰਦੇ ਲੋਕਾਂ ਦੀਆਂ ਰਿਕਾਰਡਿੰਗਾਂ ਨੇ ਬੇਸਲਾਈਨ ਸਿਸਟਮ ਲਈ ਲਗਭਗ 51% WER ਦਰਜ ਕੀਤਾ।
- ਕੌਣ ਬੋਲ ਰਿਹਾ ਹੈ। PNAS ਵਿੱਚ 2020 ਦੇ ਇੱਕ ਅਧਿਐਨ ਨੇ ਪਾਇਆ ਕਿ ਪੰਜ ਵਪਾਰਕ ਸਿਸਟਮਾਂ ਦਾ ਔਸਤ WER ਗੋਰੇ ਬੋਲਣ ਵਾਲਿਆਂ ਲਈ 19% ਦੇ ਮੁਕਾਬਲੇ ਕਾਲੇ ਬੋਲਣ ਵਾਲਿਆਂ ਲਈ 35% ਸੀ।
- ਇੱਕ-ਦੂਜੇ ਉੱਤੇ ਚੜ੍ਹਦੀ ਬੋਲੀ ਅਤੇ ਰਲੀਆਂ-ਮਿਲੀਆਂ ਭਾਸ਼ਾਵਾਂ। YouTube ਆਪਣੇ ਕੈਪਸ਼ਨ ਫ਼ੇਲ੍ਹ ਹੋਣ ਦੇ ਕਾਰਨਾਂ ਵਿੱਚ ਇੱਕੋ ਸਮੇਂ ਬੋਲਦੇ ਲੋਕ, ਰਲੀਆਂ-ਮਿਲੀਆਂ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਲੰਬੀਆਂ ਚੁੱਪਾਂ ਗਿਣਾਉਂਦਾ ਹੈ।
- ਮਨਘੜਤ ਟੈਕਸਟ। Whisper ਪੇਪਰ ਦੱਸਦਾ ਹੈ ਕਿ ਮਾਡਲ ਕਦੇ-ਕਦੇ ਅਜਿਹਾ ਟੈਕਸਟ ਦੇ ਸਕਦੇ ਹਨ ਜਿਸ ਦਾ ਆਡੀਓ ਨਾਲ ਕੋਈ ਸਬੰਧ ਨਹੀਂ ਹੁੰਦਾ।
ਸਾਫ਼ ਕੈਪਸ਼ਨ ਕਿਵੇਂ ਲਏ ਜਾਣ
- ਮਾਈਕ੍ਰੋਫ਼ੋਨ ਦੇ ਨੇੜੇ, ਸੰਗੀਤ ਅਤੇ ਟ੍ਰੈਫ਼ਿਕ ਤੋਂ ਦੂਰ ਰਿਕਾਰਡ ਕਰੋ।
- ਛੋਟੀਆਂ ਜਾਂ ਰਲੀਆਂ-ਮਿਲੀਆਂ ਕਲਿੱਪਾਂ 'ਤੇ ਆਟੋ ਡਿਟੈਕਟ ਦੀ ਬਜਾਏ ਬੋਲੀ ਜਾਂਦੀ ਭਾਸ਼ਾ ਆਪ ਚੁਣੋ।
- ਐਕਸਪੋਰਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਪੜ੍ਹੋ। Captions Cut ਵਿੱਚ ਹਰ ਸ਼ਬਦ ਐਡਿਟ ਹੋ ਸਕਦਾ ਹੈ: ਟੈਕਸਟ ਜਾਂ ਉਸ ਦਾ ਸਮਾਂ ਠੀਕ ਕਰਨ ਲਈ ਉਸ 'ਤੇ ਟੈਪ ਕਰੋ।
ਅਸੀਂ ਕਿਵੇਂ ਜਾਂਚਿਆ
ਵੇਂਡਰ ਉਨ੍ਹਾਂ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਆਪਣੇ ਆਪ ਨੂੰ ਪਹਿਲੇ ਨੰਬਰ 'ਤੇ ਰੱਖਦੇ ਹਨ ਜੋ ਉਹ ਆਪ ਚੁਣਦੇ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਅੰਕੜਿਆਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਆਪਣੇ ਵਜੋਂ ਲੇਬਲ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਵੇਂਡਰਾਂ ਵਿਚਕਾਰ ਤੁਲਨਾ ਨਹੀਂ ਕੀਤੀ ਗਈ। ਸੁਤੰਤਰ ਅੰਕੜਾ Artificial Analysis ਦਾ ਹੈ। 22 ਅਕਤੂਬਰ 2026 ਨੂੰ ਪੜ੍ਹਿਆ ਗਿਆ।
ਸਵਾਲ
ਕੀ ਆਟੋਮੈਟਿਕ ਕੈਪਸ਼ਨ ਬਿਨਾਂ ਜਾਂਚੇ ਪੋਸਟ ਕਰਨ ਜਿੰਨੇ ਸਹੀ ਹਨ?
ਘੱਟ ਹੀ। 2 ਤੋਂ 5% WER 'ਤੇ ਵੀ ਛੋਟੀ ਕਲਿੱਪ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ-ਦੋ ਗ਼ਲਤੀਆਂ ਹੁੰਦੀਆਂ ਹਨ, ਅਕਸਰ ਕਿਸੇ ਨਾਂ ਵਿੱਚ। ਪਹਿਲਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਪੜ੍ਹੋ।
ਕਿਹੜੀਆਂ ਭਾਸ਼ਾਵਾਂ ਸਭ ਤੋਂ ਵਧੀਆ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ ਹੁੰਦੀਆਂ ਹਨ?
ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਾਲੀਆਂ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਬੋਲੀਆਂ ਜਾਂਦੀਆਂ ਭਾਸ਼ਾਵਾਂ (ਅੰਗਰੇਜ਼ੀ, ਸਪੇਨੀ, ਫ਼ਰਾਂਸੀਸੀ, ਜਰਮਨ, ਜਾਪਾਨੀ ਅਤੇ ਹੋਰ) ਸਭ ਤੋਂ ਵਧੀਆ ਅੰਕ ਲੈਂਦੀਆਂ ਹਨ। Captions Cut 53 ਭਾਸ਼ਾਵਾਂ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ ਕਰਦਾ ਹੈ; ਘੱਟ ਸਾਧਨਾਂ ਵਾਲੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਵੱਧ ਠੀਕ ਕਰਨਾ ਪੈਂਦਾ ਹੈ।
ਸਰੋਤ
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: ਬੈਂਚਮਾਰਕ
- Radford et al. (2022), Whisper
- ElevenLabs: ਸਪੀਚ ਟੂ ਟੈਕਸਟ
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: ਆਟੋਮੈਟਿਕ ਕੈਪਸ਼ਨ
ਹਰ ਪੰਨਾ ਨੂੰ ਪੜ੍ਹਿਆ ਗਿਆ।