Plateforme d'inférence
Plateforme d'inférence = le moteur qui sert le modèle
Une plateforme d'inférence est l'infrastructure logicielle et matérielle qui permet de faire tourner un modèle d'IA en production et de répondre aux requêtes des utilisateurs de façon rapide, fiable et à un coût maîtrisé.
Entraîner un modèle ne suffit pas : il faut ensuite le charger sur des GPU, gérer des milliers de requêtes simultanées, regrouper les demandes pour mieux utiliser le matériel, surveiller la latence et absorber les pics de charge. Une plateforme d'inférence assemble pour cela un moteur d'exécution (comme vLLM), de l'orchestration (souvent Kubernetes), une API et de l'observabilité.
On peut la construire en interne ou passer par un fournisseur spécialisé qui facture à l'usage. Le choix dépend du volume, des contraintes de confidentialité et de la capacité de l'équipe à opérer l'ensemble.
Pourquoi ça compte quand on recrute
Construire et opérer une plateforme d'inférence demande un mélange rare : bonne culture ML, solides compétences en systèmes distribués et goût de l'optimisation. Ces profils se trouvent souvent du côté MLOps, infra ou SRE plutôt que chez les data scientists. En entretien, faites parler le candidat de latence, de débit et de coût par requête : un vrai praticien donne des ordres de grandeur et explique ses arbitrages.