Costruire un sistema di interviste basato sull'intelligenza artificiale: dall'ideazione alla produzione
Come abbiamo progettato e implementato una piattaforma di interviste AI scalabile che elabora migliaia di valutazioni al giorno, tenendo conto delle decisioni di architettura, delle sfide e delle lezioni apprese.
L'idea sembra abbastanza semplice: utilizzare l'intelligenza artificiale per condurre colloqui di selezione iniziale dei candidati su larga scala. Ma quando si inizia a sviscerare i dettagli, ci si rende subito conto che si tratta di una sfida ingegneristica e di prodotto profondamente complessa, che tocca l'accuratezza dell'intelligenza artificiale, l'esperienza del candidato, la mitigazione dei pregiudizi, i flussi di lavoro dei reclutatori e l'infrastruttura in tempo reale.
Siamo stati incaricati da una grande azienda BFSI di realizzare esattamente questo: un sistema di interviste basato sull'intelligenza artificiale in grado di gestire oltre 10.000 screening mensili dei candidati, di adattarsi a più ruoli e competenze e di fornire ai responsabili delle assunzioni valutazioni strutturate e fruibili entro pochi minuti da ogni colloquio.
La sfida dell'architettura
La sfida principale non era sviluppare l'intelligenza artificiale, ma renderla pronta per la produzione su larga scala, con bassa latenza, elevata affidabilità e qualità costante. La nostra architettura si basava su tre componenti chiave: una pipeline di conversione da voce a testo in tempo reale, un motore di valutazione basato su prompt e basato su un LLM ottimizzato e un modulo di punteggio strutturato che mappava le risposte ai framework di competenze.
Abbiamo scelto un'architettura di streaming anziché un'elaborazione batch per mantenere il "tempo di risposta" al di sotto dei 3 minuti per colloquio. Ogni parola pronunciata è stata trascritta quasi in tempo reale, analizzata in base ai requisiti del ruolo e valutata in base agli indicatori di competenza comportamentale, il tutto senza che il candidato notasse alcun ritardo.
Ingegneria rapida al centro
La qualità della valutazione basata sull'intelligenza artificiale è stata determinata interamente dalla nostra capacità di progettare i prompt e di perfezionare il modello sulla base di dati di interviste specifiche per dominio. Abbiamo creato un sistema di prompt a più livelli: un livello di contesto del ruolo, un livello di definizione delle competenze e un livello di indicatori comportamentali.
Il modello è stato valutato da valutatori umani esperti in 1.000 interviste campione prima dell'implementazione in produzione. Abbiamo richiesto un punteggio di accordo Kappa di Cohen superiore a 0,75 prima di approvare il sistema, garantendo che le valutazioni dell'IA fossero coerenti quanto quelle dei valutatori umani (e, in alcuni aspetti, più oggettive).
Il problema del pregiudizio
Questa è stata la parte più difficile. I modelli linguistici ereditano bias dai dati di training, e questi bias possono manifestarsi in punteggi differenziali basati sull'accento, sulla scelta del vocabolario o sullo stile di comunicazione, nessuno dei quali è correlato alle prestazioni lavorative. Abbiamo creato una pipeline di rilevamento attivo dei bias che segnalava le valutazioni in cui i proxy delle caratteristiche protette sembravano correlarsi con i punteggi, e una fase di post-elaborazione di debiasing che normalizzava i punteggi rispetto a questi segnali.
Risultati
Il sistema è entrato in funzione dopo 14 settimane di sviluppo ed è operativo da 8 mesi. Il tempo di screening per candidato è sceso da 5 giorni lavorativi a 4 ore. La soddisfazione dei responsabili delle assunzioni è aumentata del 40%. E il nostro audit sui bias, condotto trimestralmente, non ha rilevato punteggi differenziali statisticamente significativi per proxy demografici.
La lezione: i sistemi di intelligenza artificiale che gestiscono conseguenze umane significative richiedono un rigore straordinario, non solo nell'intelligenza artificiale stessa, ma anche nella governance, nel monitoraggio e nella calibrazione continua che la circonda.