Captions Cut

עד כמה כתוביות אוטומטיות מדויקות?

נכתב בידי האדם שמאחורי Captions Cut. העובדות נבדקו ב- מהדפים המפורטים תחת מקורות.

התשובה הקצרה

בדיבור ברור בשפה מרכזית, זיהוי הדיבור הטוב ביותר כיום מדייק ב-כ-95 עד 98 מילים מתוך 100 (שיעור שגיאות מילים של 2 עד 5%). זה עדיין משאיר כמה טעויות בקליפ של 45 שניות, בדרך כלל בשמות, בסלנג ובמספרים. הדיוק יורד בחדות ברעש רקע, במיקרופונים רחוקים, בדוברים חופפים, במבטאים חזקים ובשפות עם פחות משאבים, ולכן כדאי לקרוא כל כתובית לפני הפרסום.

שיעור שגיאות מילים, במילים פשוטות

שיעור שגיאות מילים (WER) סופר את המילים שהמערכת טועה בהן (מוחלפות, חסרות או מיותרות) לכל מאה מילים שנאמרו. WER של 5% פירושו בערך טעות אחת כל עשרים מילים. בקליפ קצר יש 100 עד 150 מילים, ולכן גם מערכת מצוינת משאירה בדרך כלל משהו לתקן.

מה המערכות משיגות

מבחןתוצאהמי מדד
Artificial Analysis, כ-8 שעות של שמע באנגלית מהעולם האמיתיElevenLabs Scribe v2: ‏2.2% WER, בערך הרביעי מבין המודלים שנבדקומבחן ביצועים עצמאי
מערכי הנתונים של AssemblyAI עצמהUniversal-3.5 Pro שלה 4.35%; GPT-4o Transcribe ‏5.34%; Scribe v2 ‏5.87%; Deepgram Nova-3 ‏6.66%AssemblyAI (ספק)
LibriSpeech test-clean (ספרי שמע מוקראים)Whisper large-v2: ‏2.7% WERהמאמר של OpenAI על Whisper
דרגות השפה של ElevenLabs עצמה5% או פחות באנגלית, צרפתית, גרמנית, ספרדית ויפנית; 20 עד 50% באורדו, יורובה וזולוElevenLabs (ספק)

מה גורם לכישלון

  • רעש ומרחק. באתגר CHiME-6, הקלטות של אנשים שמדברים משני צדי חדר קיבלו בערך 51% WER במערכת הבסיס.
  • מי מדבר. מחקר מ-2020 ב-PNAS מצא שחמש מערכות מסחריות השיגו בממוצע 35% WER לדוברים שחורים לעומת 19% לדוברים לבנים.
  • חפיפה ושפות מעורבות. YouTube מונה דוברים חופפים, שפות מעורבות ושקט ארוך בין הסיבות לכישלון הכתוביות שלה עצמה.
  • המצאות. במאמר על Whisper מצוין שמודלים עלולים לפעמים להפיק טקסט שאינו קשור לשמע.

איך מקבלים כתוביות נקיות יותר

  • מקליטים קרוב למיקרופון, הרחק ממוזיקה ומתנועה.
  • בוחרים את שפת הדיבור במקום זיהוי אוטומטי בקליפים קצרים או מעורבים.
  • קוראים את התמליל לפני הייצוא. ב-Captions Cut כל מילה ניתנת לעריכה: מקישים עליה כדי לתקן את הטקסט או את התזמון שלה.

איך בדקנו

הספקים מדרגים את עצמם ראשונים במבחנים שהם בוחרים, ולכן המספרים שלהם מסומנים כשלהם ואינם מושווים בין ספקים. הנתון העצמאי הוא של Artificial Analysis. נקרא ב-22 באוקטובר 2026.

שאלות

האם כתוביות אוטומטיות מדויקות מספיק כדי לפרסם בלי לבדוק?

לעיתים רחוקות. גם ב-WER של 2 עד 5%, בקליפ קצר יש בדרך כלל טעות או שתיים, לרוב בשם. כדאי לקרוא אותן קודם.

אילו שפות מתומללות הכי טוב?

שפות נפוצות עם הרבה נתוני אימון (אנגלית, ספרדית, צרפתית, גרמנית, יפנית ואחרות) משיגות את התוצאות הטובות ביותר. Captions Cut מתמללת 53; בשפות עם פחות משאבים צריך לתקן יותר.

מקורות

כל דף נקרא ב-.

כתוביות לסרטון בדפדפן להורדת אפליקציית ה-iPhone