Neural Machine Translation Architectures and Applications
Traduction neuronale : architectures et applications
Résumé
This thesis is centered on two main objectives: research replication and adaptation of Neural
Machine Translation techniques to new tasks. Our efforts towards research replication have led
to the production of two resources: MultiVec, a framework that facilitates the use of several tech-
niques related to word embeddings (Word2vec, Bivec and Paragraph Vector); and a framework
for Neural Machine Translation that implements several architectures and can be used for reg-
ular MT, Automatic Post-Editing, and Speech Recognition or Translation. These two resources
are publicly available and now extensively used by the research community.
We extend our NMT framework to work on three related tasks: Machine Translation (MT), Au-
tomatic Speech Translation (AST) and Automatic Post-Editing (APE). For the machine transla-
tion task, we replicate pioneer neural-based work, and do a case study on TED talks where we
advance the state-of-the-art. Automatic speech translation consists in translating speech from
one language to text in another language. In this thesis, we focus on the unexplored problem
of end-to-end speech translation, which does not use an intermediate source-language text tran-
scription. We propose the first model for end-to-end AST and apply it on two benchmarks:
translation of audiobooks and of basic travel expressions. Our final task is automatic post-
editing, which consists in automatically correcting the outputs of an MT system in a black-box
scenario, by training on data that was produced by human post-editors. We replicate and extend
published results on the WMT 2016 and 2017 tasks, and propose new neural architectures for
low-resource automatic post-editing.
Cette thèse est centrée sur deux principaux objectifs : l'adaptation de techniques de traduction neuronale à de nouvelles tâches, et la reproduction de travaux de recherche existants. Nos efforts pour la reproductibilité ont résulté en la création de deux ressources : MultiVec, un outil permettant l'utilisation de plusieurs techniques liées au word embeddings; ainsi qu'un outil proposant plusieurs modèles pour la traduction automatique et d’autres tâches similaires (par ex. post-édition automatique). Nous travaillons ensuite sur plusieurs tâches liées à la traduction : la Traduction Automatique (TA), Traduction Automatique de la Parole, et la Post-Édition Automatique. Pour la tâche de TA, nous répliquons des travaux fondateurs basés sur les réseaux de neurones, et effectuons une étude sur des TED Talks, où nous avançons l'état de l'art. La tâche suivante consiste à traduire la parole dans une langue vers le texte dans une autre langue. Dans cette thèse, nous nous concentrons sur le problème inexploré de traduction dite « end-to-end », qui ne passe pas par une transcription intermédiaire dans la langue source. Nous proposons le premier modèle end-to-end, et l'évaluons sur deux problèmes : la traduction de livres audio, et d'expressions de voyage. Notre tâche finale est la post-édition automatique, qui consiste à corriger les sorties d'un système de traduction dans un scénario « boîte noire », en apprenant à partir de données produites par des post-éditeurs humains. Nous étendons des résultats publiés dans le cadre des tâches de WMT 2016 et 2017, et proposons de nouveaux modèles pour la post-édition automatique dans un scénario avec peu de données.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|