Dans quelle mesure les sous-titres traduits par l'IA sont-ils précis ?

L' évolution des habitudes de consommation médiatique, conjuguée aux progrès fulgurants de l'intelligence artificielle, a fait des sous-titres traduits par IA une solution populaire et performante pour les événements en direct, quelle que soit leur ampleur. Lancée par Interprefy en 2022, cette technologie est également disponible sur Microsoft Teams et Zoom : des sous-titres multilingues générés automatiquement pour les réunions en direct. Grâce à elle, les utilisateurs peuvent comprendre les discours, même s'ils ne maîtrisent pas la langue.

Mais quelle est leur précision ? Il n’existe pas de réponse simple. Les résultats dépendent fortement de l’approche et des moteurs utilisés, de la combinaison linguistique spécifique, ainsi que des caractéristiques audio (accent du locuteur, qualité audio, etc.). En réalité, il n’existe pas de méthode infaillible pour mesurer la précision de la traduction.

Dans le secteur de la traduction, la qualité est décrite de diverses manières. Face à la nécessité d'établir une mesure objective, un groupe de chercheurs a admis ne pas parvenir à s'entendre entre eux sur la définition même de la « qualité de la traduction ».

Examinons de plus près pourquoi la qualité de la traduction est si difficile à mesurer et comment nous pouvons nous rapprocher de la mesure de la qualité des sous-titres traduits automatiquement. 

Comment fonctionnent les sous-titres automatiques en plusieurs langues

Les sous-titres « auto-traduits », « traduits par machine » ou « traduits par IA », également appelés « sous-titres multilingues », sont des sous-titres qui s'affichent en temps réel pendant la lecture d'un contenu audio dans une autre langue. Ils sont créés à partir du fichier audio source, soit par une combinaison de technologies de reconnaissance vocale automatique et de traduction automatique qui produisent un texte traduit de la transcription, soit par une solution basée sur l'IA qui convertit directement l'audio de la langue source en texte (ou même en parole) dans la langue cible.

Mesurer la qualité de la traduction

La langue est extrêmement complexe et, de ce fait, la qualité d'une traduction est souvent sujette à interprétation. On pourrait supposer que les problèmes de qualité surviennent lorsqu'un traducteur ou un outil de traduction automatique commet une erreur. Cependant, il est beaucoup plus fréquent que ce qui est perçu comme un problème de qualité de traduction relève d'une appréciation subjective.

Le cadre des métriques multidimensionnelles de la qualité (MQM) , un projet piloté par la Commission européenne, propose une approche « fonctionnaliste » qui catégorise les problèmes de qualité :

• Précision
• Style
• Aisance
• Conventions locales
• Terminologie, etc.
   

C’est pourquoi les organisations fournissent souvent aux traducteurs des guides de style, des glossaires et, idéalement, constituent même une mémoire de traduction, afin d’assurer la cohérence de leurs travaux de traduction et de répondre à leurs besoins.

Mesurer la qualité d'une traduction revient à évaluer son utilité et sa capacité à répondre à son objectif. 

Qualité de la traduction automatique pour les sous-titres en direct

La traduction automatique existe depuis plus de 60 ans et, aujourd'hui, machines et humains coexistent. Mais au cours des deux dernières décennies, les prestataires de services linguistiques, les agences de traduction et les traducteurs indépendants ont adopté la traduction automatique pour améliorer leur productivité et réduire leurs coûts, grâce à l'évolution rapide de sa qualité.

Tous les moteurs de traduction automatique ne se valent pas.

Aujourd'hui, de nombreux moteurs de traduction automatique sont disponibles, tels que Google Traduction, DeepL Translate ou Microsoft Translator, ainsi que plusieurs types de traduction automatique : par règles, statistique, adaptative et neuronale. La plupart des services privilégient désormais cette dernière, car la traduction automatique neuronale s'est avérée performante pour produire des résultats exceptionnellement satisfaisants et combler rapidement l'écart entre les humains et les machines pour certains types de textes.

Les différents moteurs de traduction et les différents types de traduction automatique produisent des résultats différents. Un moteur peut même donner d'excellents résultats pour une combinaison de langues, mais être totalement inutilisable pour d'autres.

Exigence de montage en temps réel par rapport au montage ultérieur

Comme la plupart des traductions écrites n'ont pas besoin d'être finalisées instantanément, les traductions automatiques de sites web ou de documents sont relues et corrigées par des traducteurs professionnels avant publication. Disposer du meilleur moteur de traduction est donc un gain de temps considérable, mais pas indispensable.

Les sous-titres multilingues en direct doivent cependant être diffusés en temps réel, sans possibilité d'intervention humaine avant que l'utilisateur ne les lise.

Il est donc crucial d'utiliser les moteurs et combinaisons de moteurs les plus performants et d'optimiser la qualité de l'entrée audio. Par exemple, si un locuteur a un fort accent et utilise un microphone de mauvaise qualité, même les meilleures solutions risquent de produire des sous-titres multilingues médiocres.

L'approche Interprefy : Évaluation comparative des solutions et optimisation de l'audio d'entrée

Au lieu d'utiliser un seul moteur de traduction automatique, l'équipe d'IA d'Interprefy compare en permanence les principales solutions de traduction ainsi que les combinaisons de solutions de reconnaissance vocale et de traduction automatique pour des combinaisons linguistiques spécifiques.

Nous collaborons avec des instituts de recherche de renommée mondiale pour développer et améliorer en continu un processus d'évaluation comparative exclusif et automatisé pour les sous-titres multilingues en direct. Alexander Davydov, responsable de la mise en œuvre de l'IA chez Interprefy

« Nous utilisons de vastes ensembles de données audio diverses et nous prenons les résultats de différents systèmes de traduction et combinaisons de systèmes, que nous comparons aux traductions produites par des traducteurs professionnels, que nous validons et classons par ordre de précision », explique Alexander. 

Le graphique ci-dessous illustre les résultats de l'analyse comparative pour quatre langues traduites à partir d'une même langue source. Comme vous pouvez le constater, aucune solution n'offre une qualité homogène pour les quatre paires de langues.

Mais même avec la solution la plus sophistiquée, la qualité peut quand même en pâtir si la qualité des données d'entrée est faible.

La qualité sonore est un facteur essentiel qui influe non seulement sur la qualité de la traduction automatique, mais aussi sur la santé et la performance des interprètes, ainsi que sur la compréhension et l'implication du public. C'est pourquoi, chez Interprefy, nous nous efforçons constamment d'améliorer la qualité audio en fournissant aux organisateurs d'événements et aux intervenants des conseils pratiques , des outils pour tester leur son et même un outil d'amélioration audio : Interprefy Clarifier.

De plus, notre équipe d'experts travaille avec nos clients pour optimiser le système afin que les noms de marque, les acronymes et autres éléments soient corrects.

Vous souhaitez réaliser votre propre évaluation de la qualité ?

Écrivez-nous pour demander une démonstration.

Veuillez saisir votre adresse courriel professionnelle. Ce formulaire n'accepte pas les adresses courriel provenant de cette adresse.