Ce que vos tests techniques ne mesurent plus

Ce que contient ce livre blanc

Quand un candidat peut générer en quelques secondes une solution testée et commentée, un exercice de code ne mesure plus toujours ce que vous croyez mesurer. Ce guide ne rejoue pas le débat live coding contre take-home. C'est un playbook pour qu'un CTO, un VP Engineering ou un Tech Lead reconstruise son processus d'évaluation technique à l'ère de GitHub Copilot, Cursor, Claude Code et des agents de développement.

Le PDF se lit en un quart d'heure. Il contient six outils prêts à l'emploi, un par page :

• Matrice des formats de tests
• Politique IA à remettre au candidat
• Processus par séniorité
• Protocole : revue d'une PR générée par IA
• Grille de scoring comportementale
• Guide de débrief

Chaque affirmation chiffrée est sourcée. Le guide distingue ce qui est établi par la recherche, ce qui relève de la pratique professionnelle et ce qui reste une hypothèse à tester.

Vos questions connues ne trient plus

Le constat le plus frappant vient d'une expérience d'interviewing.io, plateforme américaine d'entretiens d'entraînement. Des candidats ont utilisé ChatGPT en cachette pendant des entretiens de code. Ils ont réussi 73 % des entretiens sur des questions LeetCode reprises telles quelles, 67 % sur des questions modifiées, mais seulement 25 % sur des questions conçues sur mesure, contre 53 % pour le groupe témoin. Aucun intervieweur n'a signalé de soupçon (interviewing.io).

L'enseignement n'est pas qu'il faut surveiller davantage. C'est la nature de la question qui protège un test, pas la surveillance.

Un second constat est moins commenté. L'IA est la plus efficace sur les tâches petites, fermées et qui partent de zéro : des développeurs équipés de Copilot ont écrit un serveur HTTP 55,8 % plus vite qu'un groupe témoin (Peng et al., 2023). Sur de vrais tickets dans des dépôts open source matures, des développeurs expérimentés ont été 19 % plus lents avec l'IA, tout en pensant avoir gagné du temps (METR, juillet 2025). METR a depuis jugé ses mesures plus récentes peu fiables et estime probable que l'accélération ait augmenté depuis, sans pouvoir la chiffrer (METR, février 2026).

Or la plupart des exercices de recrutement ressemblent au premier cas, et la plupart des postes au second. Vos tests mesurent l'IA là où elle est la plus forte, et le candidat là où il compte le moins.

Cinq compétences à ne plus confondre

« Compétence technique » recouvre au moins cinq choses distinctes, que l'IA a décorrélées :

Générer est devenu la compétence la moins rare. Dans l'enquête Stack Overflow 2025, 84 % des développeurs utilisent ou prévoient d'utiliser l'IA, mais seuls 33 % font confiance à l'exactitude de ses réponses ; 66 % citent comme première frustration des solutions « presque justes, mais pas tout à fait » (Stack Overflow). Le travail se déplace vers la vérification.

La recherche va dans le même sens. Dans une étude randomisée publiée par Anthropic en janvier 2026, 52 ingénieurs majoritairement juniors apprenant une nouvelle bibliothèque ont obtenu 50 % au quiz final avec l'IA contre 67 % sans, l'écart le plus fort portant sur le debugging. Ceux qui utilisaient l'IA pour poser des questions conceptuelles s'en sortaient nettement mieux que ceux qui lui déléguaient tout (Anthropic). La manière d'utiliser l'outil est observable, et elle discrimine.

Autoriser l'IA n'est pas une décision binaire

Des entreprises ont publié des choix opposés. Canva attend désormais de ses candidats backend, frontend et machine learning qu'ils utilisent leurs outils d'IA en entretien, avec des sujets plus ambigus qui ne se résolvent pas en une requête (Canva Engineering). Anthropic autorise l'IA pour préparer sa candidature, mais l'interdit en entretien en direct sauf indication contraire (Fortune).

Ces choix ne se contredisent pas : chacun mesure autre chose. Le guide propose quatre régimes à choisir épreuve par épreuve :

En France, le Code du travail impose d'informer le candidat, avant leur mise en œuvre, des méthodes d'évaluation utilisées, qui doivent être pertinentes au regard de la finalité poursuivie (article L1221-8). Écrire votre politique IA et l'envoyer au candidat avant les épreuves n'est donc pas qu'une courtoisie. Le guide en fournit un modèle complet. Il fait aussi le point sur l'AI Act pour les entreprises qui utiliseraient un outil d'IA pour noter les candidats, usage classé à haut risque.

Évaluer la trajectoire, pas l'artefact

Un code qui fonctionne ne dit plus qui l'a pensé. Les trois protocoles du guide rendent visibles les décisions :

• Revue d'une pull request générée par IA (60 min). Un gestionnaire de webhooks de paiement contient dix défauts plantés, dont quatre critiques, et un piège de faux positif. On note la priorisation et la vérification des suggestions de l'assistant plus que l'exhaustivité.
• Debugging d'incident puis arbitrage (75 à 90 min). Une latence qui explose après un déploiement, des journaux avec deux fausses pistes, puis une décision d'architecture sous contraintes de disponibilité et de règle commerciale.
• Conception à contraintes évolutives (60 min, senior et plus). Trois changements de contraintes en cours d'épreuve. On observe ce que le candidat garde, défait et abandonne.

La notation compte autant que l'épreuve. La recherche place l'entretien structuré en tête des méthodes de sélection, avec une validité moyenne de 0,42 dans la réévaluation de Sackett et al. (Journal of Applied Psychology, 2022). Concrètement : une grille ancrée sur des comportements observables, des notes individuelles écrites avant tout échange, un débrief où le moins expérimenté parle en premier, et un budget temps total plafonné pour le candidat, de deux heures pour un junior à quatre heures trente pour un Staff Engineer.

Notre position tient en une phrase : arrêtez de chercher à savoir si le candidat a utilisé l'IA, cherchez à savoir s'il sait quand elle se trompe.

Pour aller plus loin

• Réaliser l'évaluation des compétences professionnelles d'un profil Tech
• Recruter un Junior ou un Senior en Tech : les vraies questions à se poser
• Startup : quel process de recrutement pour vos futurs développeurs ?
• 3 étapes pour évaluer un développeur
• Recruter son Engineering Manager ou VP Engineering

FAQ

Faut-il autoriser ChatGPT ou Copilot pendant un test technique ?

Cela dépend de l'épreuve, pas du processus entier. Interdire l'IA a du sens pour un temps court de vérification des fondamentaux, surtout chez un junior, à condition de pouvoir le vérifier. Pour une revue de code, un debugging ou un pair programming, l'autoriser de façon déclarée permet d'observer la manière réelle de travailler. Dans tous les cas, annoncez la règle au candidat avant l'épreuve.

Le live coding a-t-il encore un sens avec les assistants de code ?

Oui, s'il change d'objet. Un exercice d'algorithmique connu, en distanciel, se résout facilement avec une aide invisible : une expérience d'interviewing.io a montré 73 % de réussite chez des candidats aidés en secret, sans qu'aucun intervieweur ne s'en aperçoive. Un pair programming dans une base de code réelle, écran partagé, avec IA déclarée, reste en revanche un format robuste parce qu'on observe le processus.

Comment savoir si un développeur dépend trop de l'IA ?

Regardez le processus plutôt que le résultat. Un usage pertinent se voit quand le candidat découpe le problème avant de solliciter l'outil, lit et modifie ce qu'il reçoit, et sait citer une suggestion qu'il a refusée. La dépendance se voit quand il relance l'outil en boucle au lieu de lire l'erreur, et le manque de maîtrise quand il ne sait pas expliquer le code qu'il a accepté.

Combien de temps doit durer un processus d'évaluation technique ?

En pratique, deux heures à deux heures trente d'épreuves techniques suffisent pour un junior, et quatre heures à quatre heures trente pour un Staff Engineer ou un Tech Lead, tous rendez-vous techniques compris. Au-delà, chaque heure apporte peu d'information nouvelle et fait perdre les candidats qui ont d'autres processus en cours. Un take-home, s'il est conservé, doit être plafonné à deux heures et remplacer un entretien, pas s'y ajouter.

Comment évaluer un senior ou un Staff Engineer en entretien technique ?

Privilégiez les épreuves qui révèlent le jugement : un incident à diagnostiquer suivi d'un arbitrage d'architecture, une conception dont les contraintes changent en cours d'épreuve, et une discussion approfondie d'un projet passé où l'on creuse les options écartées. À ce niveau, la capacité à nommer ses renoncements et à identifier les décisions difficiles à défaire compte davantage que la vitesse d'écriture du code.