Bygga ett AI-drivet intervjusystem: Från koncept till produktion

Idén låter enkel nog: använd AI för att genomföra inledande kandidatintervjuer i stor skala. Men när man börjar skala av lagren inser man snabbt att det är en djupt nyanserad teknisk och produktutmaning som berör AI-noggrannhet, kandidatupplevelse, minskning av partiskhet, rekryterarbetsflöden och realtidsinfrastruktur.

Vi anlitades av ett stort BFSI-företag för att bygga just detta: ett AI-baserat intervjusystem som kunde hantera över 10 000 kandidatscreeningar per månad, anpassa sig till flera roller och kompetenser, och förse rekryteringschefer med strukturerade, handlingsbara bedömningar inom några minuter efter varje intervju.

Arkitekturutmaningen

Kärnutmaningen var inte att bygga AI:n. Det var att göra den produktionsklar i stor skala, med låg latens, hög tillförlitlighet och jämn kvalitet. Vår arkitektur förlitade sig på tre nyckelkomponenter: en pipeline för tal-till-text i realtid, en promptkonstruerad bedömningsmotor byggd på en finjusterad LLM, och en strukturerad poängsättningsmodul som mappade svaren till kompetensramverk.

Vi valde en streamingarkitektur snarare än batchbehandling för att hålla "tiden till resultat" under 3 minuter per intervju. Varje talat ord transkriberades i nära realtid, analyserades mot rollens krav och poängsattes mot indikatorer för beteendekompetens, allt utan att kandidaten märkte någon fördröjning.

Snabb ingenjörskonst i centrum

Kvaliteten på AI-bedömningen bestämdes helt av hur väl vi konstruerade frågorna och finjusterade modellen på domänspecifika intervjudata. Vi byggde ett lageruppdelat frågasystem: ett rollkontextlager, ett kompetensdefinitionslager och ett beteendeindikatorlager.

Modellen utvärderades mot erfarna mänskliga bedömare på 1 000 stickprovsintervjuer före produktionsstart. Vi krävde en Cohen's Kappa-överensstämmelsepoäng över 0,75 innan vi godkände systemet, för att säkerställa att AI-bedömningarna var lika konsekventa (och i vissa dimensioner mer objektiva än) mänskliga bedömare.

Biasproblemet

Detta var den svåraste delen. Språkmodeller ärver bias från träningsdata, och dessa bias kan manifesteras i differentiell poängsättning baserad på accent, ordförrådsval eller kommunikationsstil, vilka ingen korrelerar med arbetsprestation. Vi byggde en aktiv pipeline för biasdetektering som flaggade bedömningar där proxies för skyddade egenskaper verkade korrelera med poäng, och ett efterbehandlingssteg för att avbalansera poängen som normaliserade dem mot dessa signaler.

Resultat

Systemet togs i drift efter 14 veckors utveckling och har varit i drift i 8 månader. Screeningtiden per kandidat har minskat från 5 arbetsdagar till 4 timmar. Nöjdheten bland rekryteringschefer har ökat med 40 %. Och vår partiskhetsgranskning, som genomförs kvartalsvis, har inte funnit några statistiskt signifikanta skillnader i poängsättning baserat på demografiska representationer.

Lärdomen: AI-system som hanterar följdverkningar för mänskliga människor kräver extraordinär noggrannhet, inte bara i själva AI:n, utan även i styrningen, övervakningen och den kontinuerliga kalibreringen kring den.