Le RLHF (Reinforcement Learning from Human Feedback, « apprentissage par renforcement à partir de retours humains ») est une technique d'entraînement des LLM qui, après le pré-entraînement, ajuste le modèle à partir de comparaisons faites par des humains entre plusieurs réponses, pour qu'il devienne plus utile, honnête et sûr.
La méthode classique comporte trois étapes : un ajustement supervisé sur des exemples rédigés par des humains, l'entraînement d'un reward model qui apprend à prédire les préférences humaines, puis l'optimisation du LLM pour maximiser ce score, généralement avec l'algorithme PPO. Des variantes comme DPO apprennent directement à partir des préférences, sans modèle de récompense séparé.
Le RLHF a joué un rôle clé dans le passage des LLM de la recherche au grand public, à commencer par ChatGPT. Anthropic a proposé la Constitutional AI, où une partie des retours est produite par un modèle à partir de principes écrits (on parle de RLAIF).
Pourquoi ça compte quand on recrute
Le RLHF concerne une poignée d'équipes qui entraînent ou adaptent elles-mêmes des modèles : laboratoires d'IA, équipes de recherche appliquée. Les profils qui l'ont pratiqué à grande échelle sont très rares. Ne confondez pas avec un candidat qui a fait un fine-tuning simple ; demandez comment il a constitué les données de préférence et évalué le résultat.