Intelligence artificielle contre humains pour le sous-titrage

• 11 mai 2021

Pas une journée ne passe sans que quelqu’un ne me parle de l’intelligence artificielle dans la rédaction de sous-titres. Mais est-ce efficace ?
Est-ce qu’au contraire les sous-titres automatiques ne risquent pas de faire fuir vos auditeurs ?
Est-ce qu’on devrait vraiment prendre le temps de corriger les sous-titres automatiques écrits par une IA ?

J’ai eu toutes sortes de résultats avec des intelligences artificielles. Tellement, que j’en ai monté une publicité assez rigolote pour pouvoir les comparer.
En toute transparence, ces sous-titres ont vraiment été écrits pour la même vidéo avec des intelligences artificielles de compétiteurs. C’était tellement mauvais que j’ai dû les resynchroniser avec ma voix pour que vous puissiez comparer avec les sous-titres écrits par SousTitreur.

Étude : Est-ce que les sous-titres automatiques font fuir vos auditeurs ?

J’ai voulu en avoir le coeur net: les sous-titres automatiques sont reconnus pour contenir énormément d’erreurs, mais est-ce que ces erreurs dérangent suffisamment les gens pour qu’ils arrêtent de regarder la vidéo ?

J’ai donc fait un Google Consumer Survey qui est montré de manière aléatoire à 100 québécois (en anglais cependant), et affiche les réponses de manière aléatoire. Vous pouvez consulter l’étude directement sur Google Survey en cliquant ici.

Téléverse tes vidéos ou fichiers audio

J’ai posé cette question:

When watching at a video online, if the captions/subtitles/text on-screen has multiple mistakes, will you…
Quand vous regardez une vidéo en ligne, si les sous-titres/texte sur l’écran a plusieurs erreurs, allez vous…
-stop watching the video
-continue watching the video
-I never watch videos online

J’ai exporté les résultats sur Excel et Google Sheet, cliquez ici pour les voir et les manipuler

	Résultat	Intervalle de confiance
stop watching the video	35.5%	(-11.1%, +9,7%)
continue watching the video	22.4%	(+7.4%, -6.0%)
I never watch videos online	42.1%	(+10.0%, -9.4%)

Je me suis questionné sur la significativité des résultats puisque les deux intervalles de confiance se superposent. Mais au fond, plutôt que d’obtenir un résultat précis, ce qui nous intéresse précisément c’est est-ce qu’une quantité non-négligeable de personnes vont arrêter de regarder votre vidéo si vous mettez des sous-titres automatiques?

Clairement la réponse est oui. Pratiquement une personne sur deux arrêtera de voir une vidéo si les sous-titres automatiques contiennent trop d’erreurs.

Performances des sous-titres automatiques Facebook, Youtube vs. un humain

Voici la retranscription écrite par un humain de ma publicité:

Tabarnak!
Que je jase avec mon accent québécois
ou même si je parle avec mon accent du
18e arrondissement,
les sous-titres automatiques,
c’est toujours de la merde!
Les compagnies sérieuses,
tu sais…
elles engagent des professionnels!
Transcription par l’équipe de SousTitreur

J’ai d’abord voulu tester les sous-titres automatiques de Facebook, et j’ai obtenu ceci:

que Jacques avec mon accent
québécois ou même si je parle
avec mon action du dix-huitième
arrondissement ainsi de suite
automatique c’est toujours dans
les compagnies sérieuses. Mais
tu sais ils engagent des
professionnels
Sous-titres automatiques de Facebook

Je vous épargne toutes les erreurs de synchronisation avec la voix parce que c’est difficile à comprendre dans un blogpost.

Voyons maintenant ce que les sous-titres automatiques de Youtube donnent:

voilà que jose avec mon accent québécois
ou même si je parle à mon amour du
xviiie arrondissement
les ce système a
créé c’est aujourd’hui les compagnies
sérieux mais s’il ya un gars du
professionnel
Sous-titres automatiques de Youtube

Ce sont quand même les meilleurs pour les sous-titres automatiques ! D’ailleurs, Happyscribe et Simonsays et le reste de la compétition semblent utiliser l’API Speech-to-text de Google. Leurs erreurs sont différentes cependant, comme par exemple, ils écrivent les deux:

Il y a un gars diplômé Tannen.
Dernière phrase des sous-titres automatiques de HappyScribe et Sim,onSays

…plutôt que « elles engagent des professionnels! »

Bref, la qualité n’est pas la même que quand c’est écrit par un humain. C’est sûr.

J’ai remarqué que la performance se dégradait davantage avec ces choses:

1. la ponctuation est toujours mauvaise
2. lorsqu’il y a plus d’un locuteur, la qualité se dégrade
3. lorsqu’il y a des accents forts (même si on choisit l’option Français Canada par exemple)
4. avec les anglicismes
5. avec les noms propres

Mais est-ce que ça vaut la peine de corriger les sous-titres automatiques, ou est-ce mieux de les écrire soi-même ?

Comme chez SousTitreur on écrit les sous-titre de plusieurs dizaines d’heures de contenu vidéo par jour, j’ai moi-même essayé toutes les manières d’écrire des sous-titres.

D’abord, écrire les sous-titres directement et faire la synchronisation avec la voix me prend de 5 à 6 minutes par minute de vidéo. C’est donc dire que si j’ai une vidéo de 10 minutes à faire, elle me prendra environ une heure à taper et à synchroniser.

J’ai ensuite essayé de prendre les sous-titres automatiques et de les corriger manuellement. Combien ça prend de temps pour corriger manuellement des sous-titres automatiques ?
Ça prend 5 à 6 minutes par minute de vidéo.

Non seulement ai-je remarqué que c’était aussi long de corriger les sous-titres automatiques que de les écrire comme il faut soi-même, j’ai également remarqué que je ne voyais pas toutes les erreurs en les révisant.

Ainsi, je laissais des erreurs dans les sous-titres. Erreurs que je n’aurais pas fait à l’écrit si je les avais écrits moi-même en premier lieu.