Mennyire pontosak az automatikus feliratok?
A Captions Cut készítőjétől. Az adatok lettek ellenőrizve a Források alatt felsorolt oldalakról.
A rövid válasz
Tiszta beszédnél egy nagy nyelven a mai legjobb beszédfelismerés 100 szóból kb. 95–98-at talál el helyesen (2–5%-os szóhibaarány). Ez még mindig néhány hibát hagy egy 45 másodperces klipben, általában nevekben, szlengben és számokban. A pontosság erősen esik háttérzajnál, távoli mikrofonnál, egymásra beszélőknél, erős akcentusnál és kevésbé támogatott nyelveknél, ezért posztolás előtt olvasson át minden feliratot.
A szóhibaarány, egyszerűen
A szóhibaarány (WER) megszámolja a rendszer által tévesen felismert (cserélt, kihagyott vagy hozzáadott) szavakat száz kimondott szóra vetítve. Az 5%-os WER nagyjából húsz szavanként egy hibát jelent. Egy rövid klipben 100–150 szó van, így még egy kiváló rendszer is általában hagy javítanivalót.
Mit érnek el a rendszerek
| Teljesítménymérés | Eredmény | Ki mérte |
|---|---|---|
| Artificial Analysis, kb. 8 óra valós angol hanganyag | ElevenLabs Scribe v2: 2,2% WER, a tesztelt modellek között nagyjából a negyedik | Független teljesítménymérés |
| Az AssemblyAI saját adathalmazai | A Universal-3.5 Pro 4,35%; GPT-4o Transcribe 5,34%; Scribe v2 5,87%; Deepgram Nova-3 6,66% | AssemblyAI (gyártó) |
| LibriSpeech test-clean (felolvasott hangoskönyvek) | Whisper large-v2: 2,7% WER | Az OpenAI Whisper-tanulmánya |
| Az ElevenLabs saját nyelvi szintjei | 5% vagy kevesebb angolnál, franciánál, németnél, spanyolnál és japánnál; 20–50% urdunál, jorubánál és zulunál | ElevenLabs (gyártó) |
Mitől hibázik
- Zaj és távolság. A CHiME-6 kihívásban a szoba túloldaláról beszélő emberek felvételei az alaprendszernél kb. 51%-os WER-t értek el.
- Ki beszél. Egy 2020-as PNAS-tanulmány szerint öt kereskedelmi rendszer átlagosan 35%-os WER-t ért el fekete beszélőknél, szemben a fehér beszélők 19%-ával.
- Átfedés és vegyes nyelvek. A YouTube az egymásra beszélőket, a vegyes nyelveket és a hosszú csendeket sorolja fel saját feliratai hibáinak okai között.
- Kitalált szöveg. A Whisper-tanulmány megjegyzi, hogy a modellek alkalmanként a hanghoz nem kapcsolódó szöveget adhatnak ki.
Tisztább feliratok készítése
- Vegyen fel közel a mikrofonhoz, a zenétől és a forgalomtól távol.
- Rövid vagy több nyelvű klipeknél válassza ki a beszélt nyelvet az automatikus felismerés helyett.
- Exportálás előtt olvassa át az átiratot. A Captions Cutban minden szó szerkeszthető: koppintson rá a szöveg vagy az időzítés javításához.
Hogyan ellenőriztük
A gyártók maguk választotta teljesítménymérésekben maguk végeznek az első helyen, ezért a számaikat sajátként jelöltük meg, és nem hasonlítottuk össze gyártók között. A független adat az Artificial Analysisé. Olvasva 2026. október 22-én.
Kérdések
Elég pontosak az automatikus feliratok ahhoz, hogy ellenőrzés nélkül posztoljuk őket?
Ritkán. Még 2–5%-os WER mellett is általában van egy-két hiba egy rövid klipben, gyakran egy névben. Olvassa át őket előbb.
Mely nyelveket írják át a legjobban?
A széles körben beszélt, sok tanítóadattal rendelkező nyelvek (angol, spanyol, francia, német, japán és mások) érik el a legjobb eredményt. A Captions Cut 53-at ír át; a kevésbé támogatottak több javítást igényelnek.
Források
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: teljesítménymérések
- Radford et al. (2022), Whisper
- ElevenLabs: beszédből szöveg
- Watanabe et al. (2020), CHiME-6
- Koenecke et al. (2020), PNAS
- YouTube: automatikus feliratok
Minden oldal olvasva: .
Feliratozzon egy videót a böngészőben Az iPhone-alkalmazás letöltése