Le LLMOps est l'ensemble des pratiques pour mettre en production et exploiter des applications fondées sur des LLM : versionner les prompts comme du code, évaluer les réponses en continu, tracer les appels au modèle, maîtriser les coûts en tokens et détecter les dérives.
Il hérite du MLOps mais change d'objet : on entraîne rarement le modèle soi-même, on orchestre des prompts, des outils, une recherche documentaire (RAG) et des garde-fous autour d'un modèle externe. Les outils typiques couvrent l'évaluation (Promptfoo, Braintrust, LangSmith) et l'observabilité (Langfuse, Helicone, Arize).
C'est ce qui sépare un prototype qui impressionne en démo d'un service fiable : sans tests automatisés ni suivi, une mise à jour de prompt ou de modèle peut dégrader le produit sans que personne ne le voie.
Pourquoi ça compte quand on recrute
Le LLMOps est rarement un poste à part : c'est une compétence attendue chez un AI Engineer ou un MLOps Engineer. Pour la vérifier, demandez comment le candidat sait qu'une nouvelle version de prompt est meilleure que l'ancienne. Une réponse avec un jeu d'évaluation, des métriques et un suivi en production est un vrai signal ; « on a testé à la main » ne l'est pas.