자동 자막은 얼마나 정확할까요?
Captions Cut을 만든 곳에서 작성했습니다. 사실 관계는 에 출처 항목의 페이지에서 확인했습니다.
간단한 답
주요 언어의 또렷한 음성에서 오늘날 최고의 음성 인식은 100단어 중 약 95~98단어를 정확히 인식합니다(단어 오류율 2~5%). 그래도 45초 클립에 몇 군데 오류가 남으며, 주로 이름, 속어, 숫자에서 나옵니다. 배경 소음, 먼 마이크, 겹치는 발화, 강한 억양, 자원이 적은 언어에서는 정확도가 크게 떨어지므로 게시 전에 모든 자막을 읽어 보세요.
단어 오류율, 쉽게 말하면
단어 오류율(WER)은 말한 100단어당 시스템이 틀린 단어(잘못 인식, 누락, 추가)의 수입니다. WER 5%는 스무 단어마다 약 하나가 틀린다는 뜻입니다. 짧은 클립은 100~150단어이므로 아주 뛰어난 시스템도 보통 고칠 부분이 남습니다.
시스템별 점수
| 벤치마크 | 결과 | 측정 주체 |
|---|---|---|
| Artificial Analysis, 실제 영어 오디오 약 8시간 | ElevenLabs Scribe v2: WER 2.2%, 테스트한 모델 중 약 4위 | 독립 벤치마크 |
| AssemblyAI 자체 데이터셋 | 자사 Universal-3.5 Pro 4.35%, GPT-4o Transcribe 5.34%, Scribe v2 5.87%, Deepgram Nova-3 6.66% | AssemblyAI(업체) |
| LibriSpeech test-clean(낭독 오디오북) | Whisper large-v2: WER 2.7% | OpenAI의 Whisper 논문 |
| ElevenLabs 자체 언어 등급 | 영어, 프랑스어, 독일어, 스페인어, 일본어는 5% 이하, 우르두어, 요루바어, 줄루어는 20~50% | ElevenLabs(업체) |
실패하는 원인
- 소음과 거리. CHiME-6 챌린지에서 방 건너편에서 대화하는 녹음은 기준 시스템의 WER이 약 51%였습니다.
- 말하는 사람. 2020년 PNAS 연구에서 상용 시스템 5개의 평균 WER은 흑인 화자 35%, 백인 화자 19%였습니다.
- 겹침과 혼합 언어. YouTube는 자체 자막이 실패하는 이유로 겹치는 화자, 혼합 언어, 긴 침묵을 꼽습니다.
- 환각. Whisper 논문은 모델이 오디오와 무관한 텍스트를 가끔 출력할 수 있다고 밝힙니다.
더 깔끔한 자막 만들기
- 마이크에 가까이 대고, 음악과 차 소리에서 멀리 떨어져 녹음하세요.
- 짧거나 여러 언어가 섞인 클립에서는 자동 감지 대신 음성 언어를 직접 선택하세요.
- 내보내기 전에 스크립트를 읽어 보세요. Captions Cut에서는 모든 단어를 편집할 수 있습니다. 단어를 탭해 텍스트나 타이밍을 고치세요.
확인 방법
업체들은 자신이 고른 벤치마크에서 스스로를 1위로 꼽기 때문에, 업체 수치는 해당 업체의 것으로 표시했고 업체 간 비교는 하지 않았습니다. 독립적인 수치는 Artificial Analysis의 것입니다. 2026년 10월 22일 확인.
자주 묻는 질문
자동 자막은 확인 없이 게시해도 될 만큼 정확한가요?
거의 그렇지 않습니다. WER이 2~5%여도 짧은 클립에는 보통 한두 군데 오류가 있고, 주로 이름에서 나옵니다. 먼저 읽어 보세요.
어떤 언어가 가장 잘 전사되나요?
학습 데이터가 풍부하고 널리 쓰이는 언어(영어, 스페인어, 프랑스어, 독일어, 일본어 등)의 점수가 가장 좋습니다. Captions Cut은 53개 언어를 전사하며, 자원이 적은 언어는 수정할 부분이 더 많습니다.
출처
- Artificial Analysis: ElevenLabs Scribe v2
- AssemblyAI: 벤치마크
- Radford et al.(2022), Whisper
- ElevenLabs: 음성 텍스트 변환
- Watanabe et al.(2020), CHiME-6
- Koenecke et al.(2020), PNAS
- YouTube: 자동 자막
각 페이지는 에 확인했습니다.