Transformer (architecture)

Le Transformer est une architecture de réseau de neurones présentée par des chercheurs de Google en juin 2017 dans l'article « Attention Is All You Need ». Son principe, le mécanisme d'attention, met chaque mot d'un texte en relation avec tous les autres au lieu de les lire un par un. Elle est à la base de BERT, de MUM, de Gemini et de tous les grands modèles de langage, et donc des systèmes qui comprennent les requêtes et rédigent les réponses de la recherche Google.

Définition détaillée du Transformer

Un Transformer est un modèle d'apprentissage profond conçu pour traiter des séquences, au premier chef des phrases. Avant lui, les modèles de référence pour le langage étaient les réseaux de neurones récurrents (RNN), qui lisent un texte mot après mot, de gauche à droite, en conservant une mémoire de ce qui précède. Jakob Uszkoreit, l'un des auteurs de l'article fondateur, en résumait la limite sur le blog de Google Research le 31 août 2017 : pour comprendre que « bank » désigne la rive dans « I arrived at the bank after crossing the river », un RNN doit franchir un à un tous les mots qui séparent « bank » de « river », et plus les mots à relier sont éloignés, plus l'apprentissage est difficile. Cette lecture séquentielle interdit aussi de paralléliser le calcul.

Le Transformer abandonne la récurrence. À chaque étape, il calcule directement la relation entre chaque mot et tous les autres mots de la phrase, quelle que soit leur distance. Le titre de l'article, « Attention Is All You Need » (« l'attention est tout ce dont vous avez besoin »), dit exactement cela : le mécanisme d'attention suffit, sans récurrence ni convolution. Sur les jeux d'évaluation de traduction WMT 2014, le modèle atteignait 28,4 points BLEU de l'anglais vers l'allemand et 41,8 de l'anglais vers le français, mieux que tous les résultats publiés, après 3,5 jours d'entraînement sur huit GPU, soit une fraction du coût des modèles précédents.

Comment fonctionne le mécanisme d'attention

Le texte est d'abord découpé en tokens (mots ou fragments de mots), et chaque token est converti en un vecteur de nombres, un embedding. Comme le Transformer ne lit pas dans l'ordre, un signal de position est ajouté à chaque vecteur pour que le modèle sache où se trouve chaque mot.

Vient ensuite l'auto-attention (self-attention). Pour calculer la nouvelle représentation d'un mot, le modèle le compare à chacun des autres mots de la phrase et obtient pour chacun un score d'attention. Ces scores servent de poids dans une moyenne pondérée des représentations de tous les mots, qui devient la nouvelle représentation du mot de départ. Dans l'exemple de Google, « river » reçoit un score élevé quand on recalcule « bank », et la représentation de « bank » se met à refléter qu'il est question d'une rivière. L'opération est répétée en parallèle pour tous les mots, sur plusieurs « têtes » d'attention qui captent des relations différentes (accord grammatical, coréférence, thème), et sur plusieurs couches empilées, chacune affinant les représentations issues de la précédente.

L'architecture complète de 2017 comprend deux blocs. L'encodeur lit la phrase d'entrée et produit une représentation de chaque mot informée par tout le contexte. Le décodeur génère la phrase de sortie mot par mot, en prêtant attention à la fois aux mots qu'il a déjà produits et aux représentations de l'encodeur. Les descendants du Transformer n'en gardent souvent qu'une moitié : BERT est un encodeur seul, fait pour comprendre ; les modèles de la famille GPT et la plupart des grands modèles de langage actuels sont des décodeurs seuls, faits pour générer. Google souligne un autre apport : les scores d'attention se visualisent, ce qui permet de voir quels mots le réseau a consultés pour traduire un mot donné, par exemple pour résoudre une coréférence (« it » renvoie-t-il à l'animal ou à la rue ?).

De BERT à Gemini : le Transformer dans la recherche Google

BERT (2018-2019)

BERT (Bidirectional Encoder Representations from Transformers) est publié par des chercheurs de Google en octobre 2018. Le modèle est pré-entraîné sur du texte non annoté en lisant le contexte à gauche et à droite de chaque mot, puis adapté à des tâches précises par un simple réglage final ; il établissait alors de nouveaux records sur onze tâches de traitement du langage naturel. Le 25 octobre 2019, Pandu Nayak annonçait son déploiement dans la recherche Google : les modèles BERT aidaient à mieux comprendre une recherche sur dix en anglais aux États-Unis, en particulier les requêtes longues, conversationnelles, ou dans lesquelles une préposition comme « for » ou « to » change le sens. Google présentait ce déploiement comme « le plus grand bond en avant des cinq dernières années », et précisait que la complexité des modèles avait imposé, pour la première fois, de servir des résultats de recherche depuis des Cloud TPU.

MUM (2021)

Le 18 mai 2021, Google présente MUM (Multitask Unified Model), construit sur son cadre T5 et annoncé comme « 1 000 fois plus puissant que BERT ». MUM ne se contente pas de comprendre le langage, il en génère ; il est entraîné sur 75 langues et de nombreuses tâches à la fois, et il est multimodal (texte et images). L'exemple donné par Google est la question « j'ai gravi le mont Adams, que dois-je faire différemment pour préparer le mont Fuji ? », qui demandait en moyenne huit recherches successives et que MUM devait pouvoir traiter comme le ferait un expert.

Gemini, AI Overviews et mode IA (2024-2026)

Les grands modèles de langage qui alimentent aujourd'hui la recherche sont des Transformers de très grande taille. Le 20 mai 2025, lors de Google I/O, Google annonçait l'arrivée dans la recherche d'une version personnalisée de Gemini 2.5 pour les AI Overviews et pour le mode IA, lancé le même jour aux États-Unis ; ces deux fonctionnalités sont disponibles en France depuis le 22 juillet 2026. Le mode IA s'appuie sur le query fan-out, qui décompose une question en sous-requêtes lancées simultanément, puis sur le modèle pour rédiger une réponse à partir des pages retrouvées. La chaîne complète, de la compréhension de la requête à la génération de la réponse en passant par les embeddings des passages, repose sur la même architecture de 2017.

Ce que le Transformer change pour le SEO

• La fin du mot-clé exact : un moteur qui représente les mots en contexte comprend « peut-on récupérer un médicament pour quelqu'un en pharmacie » sans que la page contienne ces mots dans cet ordre. Google citait en 2019 la requête « 2019 brazil traveler to usa need a visa », dont le sens dépend de « to », auparavant ignoré. L'optimisation par répétition de la requête cible perd sa raison d'être ; écrire pour être compris, avec les mots naturels du sujet, la remplace.
• Les requêtes longues et conversationnelles : BERT visait d'abord les recherches longues ; le mode IA et les assistants en font la norme. Une page qui répond précisément à une question formulée en langage courant a plus de chances d'être retenue qu'une page bâtie autour d'une expression courte.
• Les passages plutôt que les pages : les modèles évaluent des passages, pour les extraits optimisés hier, pour les réponses générées aujourd'hui. Un paragraphe autonome, qui pose et résout une question, est plus facile à retenir qu'une idée diluée.
• Les mêmes outils pour le référenceur : les modèles d'embedding fondés sur des Transformers servent au regroupement de mots-clés, au maillage interne ou à la détection de cannibalisation, et les grands modèles de langage à l'analyse et à la production de contenu. Comprendre l'architecture aide à comprendre ce que ces outils savent faire, et ce qu'ils inventent.

Les limites et les idées reçues

• Le Transformer ne « comprend » pas au sens humain : il apprend des régularités statistiques entre tokens. C'est ce qui explique les réponses plausibles mais fausses des modèles génératifs, les hallucinations, et l'intérêt de leur fournir des sources au moment de répondre (RAG).
• Le coût croît avec la longueur du texte : l'attention compare chaque token à tous les autres, ce qui rend le calcul quadratique. Les fenêtres de contexte des modèles se sont beaucoup élargies, mais un très long document reste plus coûteux et moins bien traité qu'un passage ciblé.
• BERT n'est pas un « facteur de classement » : Google l'a présenté comme une technologie de compréhension des requêtes et des contenus, pas comme un critère à satisfaire, et n'a jamais décrit de levier d'optimisation qui lui serait propre. La même prudence vaut pour Gemini dans les AI Overviews.
• Le Transformer n'est pas réservé au texte : la même architecture traite les images (Vision Transformer), l'audio et la vidéo, ce qui explique le caractère multimodal de MUM puis de Gemini, et la recherche par image ou par photo dans Google Lens et le mode IA.

FAQ

Qui a inventé le Transformer ?

Huit chercheurs de Google (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser et Illia Polosukhin), dans l'article « Attention Is All You Need » soumis sur arXiv le 12 juin 2017 et présenté sur le blog de Google Research le 31 août 2017. L'architecture était d'abord conçue pour la traduction automatique.

Quelle différence entre un Transformer et un grand modèle de langage (LLM) ?

Le Transformer est l'architecture, le plan de construction ; un grand modèle de langage est un modèle construit sur ce plan, entraîné sur d'immenses corpus avec des milliards de paramètres. GPT, Gemini, Claude ou Llama sont des Transformers, en général de type décodeur seul. Il existe aussi des Transformers qui ne sont pas des LLM, comme les modèles d'embedding ou les Vision Transformers.

Qu'est-ce que le mécanisme d'attention ?

C'est le calcul qui, pour chaque mot d'un texte, mesure l'importance de chacun des autres mots pour en fixer le sens, puis combine leurs représentations selon ces poids. Il permet de relier des mots éloignés en une seule étape, là où un réseau récurrent devait franchir tous les mots intermédiaires, et il se calcule en parallèle pour tous les mots de la phrase.

BERT est-il toujours utilisé par Google ?

Google n'a jamais annoncé son retrait. BERT a été déployé dans le classement et les extraits optimisés en octobre 2019, puis MUM (2021) et les modèles Gemini (2024-2025) sont venus s'ajouter pour d'autres usages, dont la génération des AI Overviews. Ces systèmes coexistent, et Google ne détaille pas lequel intervient sur quelle requête.

Peut-on optimiser une page « pour BERT » ou « pour les Transformers » ?

Non. Google a présenté BERT comme un progrès de la compréhension du langage naturel, pas comme un critère de classement à satisfaire ; la seule optimisation cohérente consiste à écrire clairement, à répondre aux questions telles que les internautes les posent et à structurer le contenu en passages autonomes. Ce qui aide un lecteur humain aide aussi le modèle.

En résumé

• Transformer : architecture de réseau de neurones publiée par Google en juin 2017 (« Attention Is All You Need »), qui remplace la lecture séquentielle par le mécanisme d'attention.
• Attention : chaque mot est comparé à tous les autres mots du texte pour construire sa représentation en contexte, en parallèle et en une seule étape, quelle que soit la distance.
• Descendance : BERT (encodeur, dans la recherche Google depuis octobre 2019, une requête sur dix en anglais), MUM (2021, multitâche et multimodal), Gemini et tous les grands modèles de langage (décodeurs).
• Dans la recherche : compréhension des requêtes longues, extraits optimisés, puis AI Overviews et mode IA avec une version personnalisée de Gemini 2.5 (annoncée le 20 mai 2025, en France depuis le 22 juillet 2026).
• Pour le SEO : fin du mot-clé exact, importance des passages autonomes et du langage naturel ; aucun levier d'optimisation direct « pour BERT ».
• Limites : régularités statistiques et non compréhension, coût quadratique avec la longueur, hallucinations des modèles génératifs.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !