L'inférence est l'étape où un modèle d'IA déjà entraîné est utilisé pour produire un résultat à partir de nouvelles données : une prédiction, une classification, une réponse de LLM. Elle s'oppose à l'entraînement, qui sert à construire le modèle.
Pour un LLM, chaque requête est une inférence : le modèle reçoit un prompt et génère sa réponse token par token. Trois indicateurs comptent : la latence (le temps avant le premier token), le débit (tokens produits par seconde) et le coût, qui dépend du matériel, généralement des GPU.
L'entraînement est un effort ponctuel, l'inférence se répète à chaque utilisation. À grande échelle, elle devient souvent le premier poste de coût d'un produit d'IA.
D'où un domaine d'ingénierie dédié à son optimisation : quantization, regroupement des requêtes (batching), mise en cache, décodage spéculatif. Il s'appuie sur des moteurs spécialisés comme vLLM, TensorRT-LLM ou llama.cpp, et sur des plateformes d'inférence qui louent ce service.
Pourquoi ça compte quand on recrute
L'optimisation de l'inférence est une compétence rare, à la croisée du ML et de l'ingénierie système : on la trouve chez des ML Engineers, MLOps ou ingénieurs spécialisés GPU. Le bon signal : un candidat qui cite des gains mesurés (latence, coût par requête) et explique les compromis faits sur la qualité. Ne confondez pas un AI Engineer qui appelle une API avec un profil qui sait servir un modèle lui-même.