Le fine-tuning (ajustement fin) consiste à poursuivre l'entraînement d'un modèle d'IA déjà pré-entraîné, comme un LLM, sur un jeu de données ciblé, afin de le spécialiser sur une tâche, un domaine ou un style sans repartir de zéro.
La forme la plus courante est le fine-tuning supervisé : on fournit des exemples de questions et de réponses attendues. D'autres méthodes ajustent le modèle à partir de préférences humaines (RLHF, DPO). Pour réduire le coût, les techniques comme LoRA ou QLoRA n'entraînent qu'une petite partie des paramètres, ce qui rend l'opération faisable sur quelques GPU.
Le fine-tuning sert à imposer un format de sortie, un ton, un vocabulaire métier, ou à obtenir d'un petit modèle les performances d'un gros sur une tâche précise, pour baisser le coût d'inférence.
Il ne sert pas bien à ajouter des connaissances qui changent souvent : pour cela, le RAG ou un meilleur prompt sont en général plus simples et plus faciles à mettre à jour. Le choix dépend du problème, et se valide par une évaluation.
Pourquoi ça compte quand on recrute
Beaucoup de candidats ont lancé un fine-tuning à partir d'un tutoriel. Le vrai niveau se voit dans la préparation des données, la mise en place d'une évaluation avant et après, et la capacité à dire pourquoi le fine-tuning était le bon choix plutôt que le RAG. C'est le terrain d'un ML Engineer ou d'un AI Engineer confirmé ; l'entraînement de modèles de fondation relève, lui, de profils de recherche.