Quelle est la précision des sous-titres traduits par IA ?

Un changement fondamental du comportement de consommation des médias associé à des avancées quantiques de la technologie IA, a fait des sous-titres traduits par IA un choix populaire et puissant pour les événements en direct de toutes formes et tailles. Interprefy les a introduits en 2022, et ils sont également disponibles sur Microsoft Teams, voire Zoom : sous-titres multilingues générés automatiquement pour les réunions en direct. Cette technologie rend possible pour les utilisateurs de comprendre, même s'ils ne connaissent pas la langue dans laquelle le discours est prononcé.

Mais quelle est leur précision ? Il n'existe pas de réponse simple. Les résultats dépendent fortement de l'approche choisie et des moteurs utilisés, de la combinaison linguistique spécifique, ainsi que des caractéristiques de l'audio (accent du locuteur, qualité audio, etc.). Et la vérité simple est qu'il n'existe aucune méthode définitive pour mesurer la précision de la traduction.

Les professionnels du secteur de la traduction décrivent la qualité de diverses manières. Lorsqu'ils tentent d'établir une mesure objective, un groupe de chercheurs a admis qu'ils ne pouvaient même pas s'entendre entre eux sur la façon dont "qualité de traduction" devrait être définie.

Let's examine de plus près pourquoi la qualité de la traduction est si difficile à mesurer et comment nous pouvons nous rapprocher de la mesure de la qualité du sous-titrage traduit par machine. 

Comment fonctionnent les sous-titres automatiques en plusieurs langues

"Auto-translated", "machine translated", et "AI-translated" sous-titres ou "multilingual subtitles" sont des sous-titres fermés qui offrent aux utilisateurs des sous-titres en temps réel accompagnant le discours dans une langue différente. Ils sont créés à partir de l'audio source en utilisant soit une combinaison de reconnaissance automatique de la parole et de technologies de traduction automatique qui produisent un texte traduit du transcript, soit une solution basée sur l'IA qui convertit directement l'audio de la langue source en texte (ou même en discours) dans la langue cible.

Mesure de la qualité de la traduction

La langue est très complexe et la qualité d’une traduction est souvent sujette à interprétation. On pourrait supposer que les problèmes de qualité surviennent lorsqu’un traducteur ou une machine commet une erreur. Cependant, il est beaucoup plus fréquent que ce qui est perçu comme des problèmes de qualité de traduction soit une évaluation subjective.

Le cadre des mesures de qualité multidimensionnelles (MQM), un projet dirigé par la Commission européenne, propose une approche "fonctionnaliste" qui catégorise les problèmes de qualité :

• Exactitude
• Style
• Fluidité
• Conventions locales
• Terminologie, etc.
   

C'est pourquoi les organisations fournissent souvent aux traducteurs des guides de style, des glossaires et, idéalement, construisent même une mémoire de traduction, afin d’obtenir une cohérence dans leurs travaux de traduction qui répond à leurs besoins.

Mesurer la qualité d’une traduction relève de l’évaluation de l’utilité de la traduction et de la façon dont elle répond à son objectif. 

Qualité de la traduction automatique pour les sous‑titres en direct

La traduction automatique existe depuis plus de 60 ans, et aujourd’hui les machines et les humains coexistent. Mais au cours des deux dernières décennies, les fournisseurs de services linguistiques (LSP), les agences de traduction et les pigistes ont adopté la traduction automatique pour améliorer la productivité et réduire les coûts, grâce à l’évolution rapide de la qualité de la traduction automatique.

Tous les moteurs de traduction automatique ne sont pas égaux

Aujourd'hui, il existe une multitude de moteurs de traduction texte à texte disponibles, tels que Google Translate, DeepL Translate ou Microsoft Translator, ainsi que plusieurs types de traduction automatique : basée sur des règles, statistique, adaptative et neuronale. La plupart des services ont commencé à se tourner vers ce dernier, la traduction automatique neuronale s'étant avérée puissante pour produire des résultats exceptionnellement satisfaisants et combler rapidement l'écart entre humains et machines pour certains types de textes.

Différents moteurs de traduction et différents types de traduction automatique produisent des résultats variés. Un moteur peut même offrir une performance exceptionnelle pour une combinaison linguistique donnée, mais générer des résultats inutiles pour d’autres.

Exigence en temps réel vs post‑édition

Parce que la plupart des traductions écrites n'ont pas besoin d'être finalisées instantanément, la sortie de traduction automatique pour les sites Web ou les documents est révisée et post‑éditée par des traducteurs professionnels avant la publication. Ainsi, disposer du meilleur moteur constitue un véritable gain de temps, mais n'est pas indispensable.

Les sous-titres multilingues en direct, cependant, doivent être diffusés en temps réel, sans possibilité d'intervention humaine avant que l'utilisateur ne les lise.

Il est donc crucial que les moteurs les plus performants et les combinaisons de moteurs soient utilisés et que la qualité d'entrée audio soit optimale. Par exemple, si un locuteur a un fort accent et utilise un mauvais microphone, même les meilleures solutions pourraient produire des sous-titres multilingues de qualité inférieure.

L’approche Interprefy : solutions de référence et optimisation de l’audio d’entrée

Au lieu d'utiliser un seul moteur de traduction automatique, l'équipe de livraison IA d'Interprefy effectue en continu des évaluations comparatives des solutions de traduction de pointe ainsi que des combinaisons de reconnaissance vocale et de solutions de traduction automatique pour des combinaisons linguistiques spécifiques.

Nous collaborons avec des institutions de recherche de renommée mondiale pour développer et améliorer continuellement un processus de référence propriétaire et automatisé pour les sous-titres multilingues en direct. Alexander Davydov, responsable de la livraison d'IA chez Interprefy

"Nous utilisons de grands ensembles de données audio diverses et nous prenons la sortie de divers systèmes de traduction ainsi que des combinaisons de systèmes et les comparons aux traductions produites par des traducteurs professionnels, les validons et les classons par précision", Alexander explique. 

Le tableau ci‑dessous illustre les résultats de référence pour quatre langues traduites à partir de la même langue source. Comme vous pouvez le constater, aucune solution unique ne fournit une qualité constante pour les quatre paires de langues.

Mais même si vous disposez de la solution la plus sophistiquée, la qualité peut encore en pâtir si la qualité d’entrée est faible.

La qualité du son est un facteur clé qui affecte non seulement la qualité de la sortie de l’IA mais aussi la santé et la capacité d’exécution des interprètes, ainsi que la compréhension et l’engagement du public. C’est pourquoi, chez Interprefy, nous nous efforçons continuellement d’améliorer la qualité audio en fournissant aux organisateurs d’événements et aux intervenants des directives utiles, facilitant des outils pour les intervenants afin de tester la qualité de leur son, et même développer un outil d’amélioration audio, Interprefy Clarifier.

De plus, notre personnel expert travaille avec nos clients pour optimiser le système afin d’obtenir correctement les noms de marque, les acronymes et bien plus encore.

Souhaitez‑vous réaliser votre propre évaluation de la qualité ?

Contactez-nous pour demander une démonstration.

Veuillez saisir votre adresse e-mail professionnelle. Ce formulaire n’accepte pas les adresses provenant de cette adresse e-mail.