Architecture Transformer et attention en TA neuronale

Technologies de la traduction · Master 1

Encodeur-décodeur, attention multi-têtes et sous-mots dans la traduction automatique neuronale.

Introduction

La traduction automatique neuronale (TAN) a supplanté les approches statistiques au milieu des années 2010. Les premiers modèles séquence-à-séquence reposaient sur des réseaux récurrents, qui lisent la phrase mot après mot et compressent le sens dans un vecteur de taille fixe, ce qui dégrade les longues phrases.

Le mécanisme d'attention (Bahdanau et al., 2014) permet au décodeur de consulter dynamiquement les différentes positions de la phrase source. L'article « Attention Is All You Need » (Vaswani et al., 2017) a ensuite proposé le Transformer, qui abandonne la récurrence au profit de l'auto-attention et se parallélise efficacement.

Pour le traducteur-technologue, comprendre cette architecture aide à anticiper les forces des systèmes (fluidité, contexte local) et leurs faiblesses (omissions, hallucinations, terminologie instable).

Objectifs d'apprentissage

Décrire les composants d'un modèle encodeur-décodeur de type Transformer
Expliquer le rôle de l'attention et de l'auto-attention
Justifier le recours à la segmentation en sous-mots
Relier les limites architecturales aux erreurs observées en post-édition

Concepts clés

Séquence-à-séquence: Un encodeur transforme la phrase source en représentations numériques ; un décodeur génère la phrase cible mot à mot en s'appuyant sur ces représentations et sur les mots déjà produits.
Attention et auto-attention: Chaque position calcule des poids sur les autres positions pour décider quelles informations utiliser. L'auto-attention opère au sein d'une même phrase ; l'attention croisée relie le décodeur à la source.
Attention multi-têtes et positions: Plusieurs « têtes » d'attention capturent en parallèle différentes relations. Comme il n'y a pas de récurrence, un encodage positionnel indique l'ordre des mots.
Sous-mots et génération: Le vocabulaire est découpé en unités fréquentes (BPE, SentencePiece) pour gérer les mots rares. À l'inférence, une recherche en faisceau (beam search) choisit la meilleure séquence de sortie.

Conclusion

Le Transformer repose sur l'attention, des sous-mots et un décodage probabiliste : il explique à la fois la qualité remarquable de la TAN et ses erreurs typiques.

Pour l'examen, sachez schématiser l'encodeur-décodeur, définir l'auto-attention et relier chaque limite à un risque de post-édition.

Cartes

Quel article a introduit le Transformer ?: « Attention Is All You Need » (Vaswani et al., 2017), qui fonde l'architecture sur l'attention sans réseaux récurrents.
Quel problème l'attention résout-elle dans les premiers modèles séquence-à-séquence ?: Elle évite de comprimer toute la phrase source dans un seul vecteur fixe, en laissant le décodeur consulter chaque position source.
Que calcule l'attention « à produit scalaire normalisé » ?: Des poids issus de la similarité entre requêtes (Q) et clés (K), normalisés par softmax, appliqués aux valeurs (V).
Pourquoi un encodage positionnel est-il nécessaire dans le Transformer ?: Sans récurrence, le modèle ne connaît pas l'ordre des mots ; l'encodage positionnel injecte cette information.
À quoi sert l'attention multi-têtes ?: À apprendre en parallèle plusieurs types de relations (accord, coréférence, ordre) dans des sous-espaces différents.
Pourquoi segmenter en sous-mots (BPE) ?: Pour représenter les mots rares ou inconnus par des fragments fréquents et limiter la taille du vocabulaire.
Qu'est-ce que la recherche en faisceau (beam search) ?: Une méthode de décodage qui garde les k meilleures hypothèses partielles à chaque étape au lieu de la seule plus probable.
Pourquoi la TAN peut-elle produire des textes fluides mais faux ?: Le modèle est entraîné à produire des séquences probables ; la fluidité n'implique pas la fidélité, d'où omissions et ajouts.
Pourquoi le Transformer est-il plus rapide à entraîner que les réseaux récurrents ?: Les positions sont traitées en parallèle au lieu d'être lues séquentiellement.

Glossaire

Encodeur: Partie du modèle qui construit des représentations contextuelles de la phrase source.
Décodeur: Partie qui génère la phrase cible de manière autorégressive.
Auto-attention: Mécanisme où chaque mot d'une phrase pondère les autres mots de la même phrase.
Sous-mot (BPE): Unité de vocabulaire obtenue par fusions successives des paires de caractères les plus fréquentes.
Hallucination: Segment cible fluide mais sans lien avec le texte source.
Corpus parallèle: Ensemble de textes alignés phrase à phrase entre deux langues, servant à entraîner les modèles.
Perte d'entropie croisée: Fonction qu'on minimise à l'entraînement pour rapprocher la distribution prédite des mots de la traduction de référence.