ఆటోమేటిక్ క్యాప్షన్లు ఎంత కచ్చితమైనవి?
Captions Cut రూపకర్త రాసింది. వివరాలు మూలాల కింద జాబితా చేసిన పేజీల నుండి న తనిఖీ చేయబడ్డాయి.
సంక్షిప్త సమాధానం
ప్రధాన భాషలో స్పష్టమైన మాటపై, నేటి ఉత్తమ స్పీచ్ రికగ్నిషన్ 100 పదాలకు సుమారు 95 నుండి 98 సరిగ్గా పొందుతుంది (వర్డ్ ఎర్రర్ రేట్ 2 నుండి 5%). అయినా 45 సెకన్ల క్లిప్లో కొన్ని తప్పులు మిగులుతాయి, సాధారణంగా పేర్లు, యాస మరియు సంఖ్యలలో. నేపథ్య శబ్దం, దూరపు మైక్రోఫోన్లు, ఒకరిపై ఒకరు మాట్లాడటం, బలమైన యాసలు మరియు తక్కువ వనరులున్న భాషలతో కచ్చితత్వం బాగా తగ్గుతుంది, కాబట్టి పోస్ట్ చేసే ముందు ప్రతి క్యాప్షన్ను చదవండి.
వర్డ్ ఎర్రర్ రేట్, సాధారణ మాటల్లో
వర్డ్ ఎర్రర్ రేట్ (WER) మాట్లాడిన ప్రతి వందకు సిస్టమ్ తప్పుగా పొందే (మార్చిన, వదిలిన లేదా జోడించిన) పదాలను లెక్కిస్తుంది. 5% WER అంటే సుమారు ప్రతి ఇరవై పదాలకు ఒక తప్పు. చిన్న క్లిప్లో 100 నుండి 150 పదాలు ఉంటాయి, కాబట్టి అద్భుతమైన సిస్టమ్ కూడా సాధారణంగా ఏదో ఒకటి సరిచేయడానికి వదులుతుంది.
సిస్టమ్లు ఎంత స్కోరు చేస్తాయి
| బెంచ్మార్క్ | ఫలితం | ఎవరు కొలిచారు |
|---|---|---|
| Artificial Analysis, నిజజీవిత ఇంగ్లీష్ ఆడియో ~8 గంటలు | ElevenLabs Scribe v2: 2.2% WER, పరీక్షించిన మోడల్స్లో సుమారు నాల్గవది | స్వతంత్ర బెంచ్మార్క్ |
| AssemblyAI సొంత డేటాసెట్లు | దాని Universal-3.5 Pro 4.35%; GPT-4o Transcribe 5.34%; Scribe v2 5.87%; Deepgram Nova-3 6.66% | AssemblyAI (ఒక విక్రేత) |
| LibriSpeech test-clean (చదివిన ఆడియోబుక్లు) | Whisper large-v2: 2.7% WER | OpenAI యొక్క Whisper పేపర్ |
| ElevenLabs సొంత భాషా స్థాయిలు | ఇంగ్లీష్, ఫ్రెంచ్, జర్మన్, స్పానిష్ మరియు జపనీస్కు 5% లేదా తక్కువ; Urdu, Yoruba మరియు Zuluకు 20 నుండి 50% | ElevenLabs (ఒక విక్రేత) |
అది దేనివల్ల విఫలమవుతుంది
- శబ్దం మరియు దూరం. CHiME-6 ఛాలెంజ్లో, గది అంతటా మాట్లాడుకుంటున్న వారి రికార్డింగ్లకు బేస్లైన్ సిస్టమ్ సుమారు 51% WER స్కోరు చేసింది.
- ఎవరు మాట్లాడుతున్నారు. PNASలో 2020 అధ్యయనం ఐదు వాణిజ్య సిస్టమ్లు నల్లజాతి వక్తలకు సగటున 35% WER, తెల్లజాతి వక్తలకు 19% పొందాయని కనుగొంది.
- ఒకరిపై ఒకరు మాట్లాడటం మరియు మిశ్రమ భాషలు. తన సొంత క్యాప్షన్లు విఫలమవడానికి కారణాలలో ఒకరిపై ఒకరు మాట్లాడటం, మిశ్రమ భాషలు మరియు ఎక్కువ నిశ్శబ్దాన్ని YouTube జాబితా చేస్తుంది.
- కల్పనలు. మోడల్స్ అప్పుడప్పుడు ఆడియోతో సంబంధం లేని టెక్స్ట్ను ఇవ్వగలవని Whisper పేపర్ పేర్కొంటుంది.
శుభ్రమైన క్యాప్షన్లు పొందడం
- సంగీతం మరియు ట్రాఫిక్ నుండి దూరంగా, మైక్రోఫోన్కు దగ్గరగా రికార్డ్ చేయండి.
- చిన్న లేదా మిశ్రమ భాషల క్లిప్లలో ఆటో-డిటెక్ట్ చేయడానికి బదులు మాట్లాడే భాషను ఎంచుకోండి.
- ఎక్స్పోర్ట్ చేసే ముందు ట్రాన్స్క్రిప్ట్ను చదవండి. Captions Cutలో ప్రతి పదాన్నీ ఎడిట్ చేయవచ్చు: టెక్స్ట్ను లేదా సమయాన్ని సరిచేయడానికి దాన్ని ట్యాప్ చేయండి.
మేము ఎలా తనిఖీ చేశాము
విక్రేతలు తాము ఎంచుకున్న బెంచ్మార్క్లలో తమను తామే మొదట ర్యాంక్ చేసుకుంటారు, కాబట్టి వారి సంఖ్యలు వారివిగా లేబుల్ చేయబడ్డాయి మరియు విక్రేతల మధ్య పోల్చబడవు. స్వతంత్ర సంఖ్య Artificial Analysis ది. 22 అక్టోబర్ 2026న చదివినది.
ప్రశ్నలు
ఆటోమేటిక్ క్యాప్షన్లు తనిఖీ చేయకుండా పోస్ట్ చేసేంత కచ్చితంగా ఉంటాయా?
అరుదుగా. 2 నుండి 5% WER వద్ద కూడా చిన్న క్లిప్లో సాధారణంగా ఒకటి రెండు తప్పులు ఉంటాయి, తరచుగా పేరులో. ముందు వాటిని చదవండి.
ఏ భాషలు ఉత్తమంగా ట్రాన్స్క్రైబ్ అవుతాయి?
ఎక్కువ శిక్షణ డేటా ఉన్న విస్తృతంగా మాట్లాడే భాషలు (ఇంగ్లీష్, స్పానిష్, ఫ్రెంచ్, జర్మన్, జపనీస్ మరియు ఇతరాలు) ఉత్తమ స్కోరు చేస్తాయి. Captions Cut 53 భాషలను ట్రాన్స్క్రైబ్ చేస్తుంది; తక్కువ వనరులున్న వాటికి ఎక్కువ సరిచేయడం అవసరం.
మూలాలు
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: బెంచ్మార్క్లు
- Radford et al. (2022), Whisper
- ElevenLabs: స్పీచ్ టు టెక్స్ట్
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: ఆటోమేటిక్ క్యాప్షన్లు
ప్రతి పేజీ న చదవబడింది.
మీ బ్రౌజర్లో వీడియోకు క్యాప్షన్లు జోడించండి iPhone యాప్ పొందండి