Le transformer est une architecture de réseau de neurones présentée par des chercheurs de Google en 2017 dans l'article Attention Is All You Need, qui sert de base à la quasi-totalité des grands modèles de langage et à de nombreux modèles d'image, d'audio et multimodaux.
Son idée centrale est le mécanisme d'attention : pour traiter chaque élément d'une séquence, le modèle évalue l'importance de tous les autres éléments. Contrairement aux réseaux récurrents qui l'ont précédé, il traite la séquence d'un bloc et non mot après mot, ce qui permet d'entraîner des modèles très grands en parallèle sur des milliers de GPU.
GPT, BERT, Llama, Claude, Gemini et Mistral reposent tous sur des variantes du transformer. Son point faible : le coût de l'attention croît fortement avec la longueur du texte. Des architectures alternatives ou hybrides (modèles à espace d'états comme Mamba) cherchent à le réduire.
Pourquoi ça compte quand on recrute
Le transformer sépare deux familles de profils. Un Research Scientist ou un Research Engineer doit en comprendre le fonctionnement interne et savoir le modifier. Un AI Engineer qui assemble des applications à partir de modèles existants n'a pas besoin du même niveau, et l'exiger fait fuir de bons candidats. Clarifiez lequel des deux vous cherchez avant de rédiger l'annonce.