Création d'un système d'entretiens basé sur l'IA : du concept à la production
Comment nous avons conçu et déployé une plateforme d'entretiens basée sur l'IA et évolutive, qui traite des milliers d'évaluations par jour, en détaillant les décisions d'architecture, les défis rencontrés et les enseignements tirés.
L'idée paraît simple : utiliser l'IA pour mener des entretiens de présélection de candidats à grande échelle. Mais en y regardant de plus près, on se rend vite compte qu'il s'agit d'un défi d'ingénierie et de produit complexe, touchant à la précision de l'IA, à l'expérience candidat, à la réduction des biais, aux processus de recrutement et à l'infrastructure en temps réel.
Nous avons été engagés par une grande entreprise du secteur BFSI pour construire précisément cela : un système d’entretiens basé sur l’IA capable de gérer plus de 10 000 présélections de candidats par mois, de s’adapter à de multiples rôles et compétences, et de fournir aux responsables du recrutement des évaluations structurées et exploitables quelques minutes après chaque entretien.
Le défi architectural
Le principal défi n'était pas de concevoir l'IA, mais de la rendre opérationnelle à grande échelle, avec une faible latence, une fiabilité élevée et une qualité constante. Notre architecture reposait sur trois composantes clés : un pipeline de transcription vocale en temps réel, un moteur d'évaluation basé sur un modèle de langage optimisé, et un module de notation structuré qui associait les réponses à des référentiels de compétences.
Nous avons opté pour une architecture de traitement en flux continu plutôt que par lots afin de maintenir le délai d'obtention des résultats sous les 3 minutes par entretien. Chaque mot prononcé était transcrit en quasi temps réel, analysé au regard des exigences du poste et évalué selon des indicateurs de compétences comportementales, le tout sans que le candidat ne perçoive le moindre délai.
Ingénierie rapide au cœur
La qualité de l'évaluation par IA dépendait entièrement de la pertinence des invites et du réglage précis du modèle à partir de données d'entretiens spécifiques au domaine. Nous avons conçu un système d'invites à plusieurs niveaux : un niveau de contexte de rôle, un niveau de définition des compétences et un niveau d'indicateurs comportementaux.
Le modèle a été évalué par des évaluateurs humains expérimentés sur un échantillon de 1 000 entretiens avant sa mise en production. Nous avons exigé un score de concordance Kappa de Cohen supérieur à 0,75 pour valider le système, garantissant ainsi que les évaluations de l'IA étaient aussi cohérentes (et, sur certains points, plus objectives) que celles des évaluateurs humains.
Le problème des biais
C'était la partie la plus difficile. Les modèles de langage héritent de biais issus des données d'entraînement, et ces biais peuvent se traduire par des scores différents selon l'accent, le choix du vocabulaire ou le style de communication, autant d'éléments sans lien avec la performance professionnelle. Nous avons donc mis en place un système de détection active des biais qui signale les évaluations où des indicateurs de caractéristiques protégées semblent corrélés aux scores, ainsi qu'une étape de post-traitement de correction des biais qui normalise les scores en fonction de ces signaux.
Résultats
Le système a été mis en service après 14 semaines de développement et est opérationnel depuis 8 mois. Le temps de sélection des candidats est passé de 5 jours ouvrables à 4 heures. La satisfaction des responsables du recrutement a augmenté de 40 %. Par ailleurs, notre audit des biais, réalisé chaque trimestre, n'a révélé aucune différence statistiquement significative dans l'évaluation selon les indicateurs démographiques.
La leçon à retenir : les systèmes d’IA qui traitent des conséquences humaines importantes nécessitent une rigueur extraordinaire, non seulement au niveau de l’IA elle-même, mais aussi au niveau de sa gouvernance, de sa surveillance et de son étalonnage continu.