Entwicklung eines KI-gestützten Interviewsystems: Vom Konzept zur Produktion
Wie wir eine skalierbare KI-Interviewplattform entwickelt und eingesetzt haben, die täglich Tausende von Beurteilungen verarbeitet und dabei Architekturentscheidungen, Herausforderungen und gewonnene Erkenntnisse abdeckt.
Die Idee klingt zunächst einfach: KI soll in großem Umfang erste Vorstellungsgespräche mit Bewerbern führen. Doch bei genauerer Betrachtung wird schnell klar, dass es sich um eine hochkomplexe technische und produktbezogene Herausforderung handelt, die die Genauigkeit der KI, die Candidate Experience, die Vermeidung von Verzerrungen, die Arbeitsabläufe der Personalverantwortlichen und die Echtzeit-Infrastruktur betrifft.
Wir wurden von einem großen Unternehmen aus dem Finanzdienstleistungssektor beauftragt, genau dies zu entwickeln: ein KI-gestütztes Interviewsystem, das monatlich über 10.000 Kandidaten-Screenings bewältigen, sich an verschiedene Rollen und Kompetenzen anpassen und den Personalverantwortlichen innerhalb weniger Minuten nach jedem Interview strukturierte, umsetzbare Beurteilungen liefern kann.
Die Architektur-Herausforderung
Die größte Herausforderung bestand nicht in der Entwicklung der KI selbst, sondern darin, sie produktionsreif und skalierbar zu machen – mit geringer Latenz, hoher Zuverlässigkeit und gleichbleibender Qualität. Unsere Architektur basierte auf drei Schlüsselkomponenten: einer Echtzeit-Spracherkennung, einem auf einem feinabgestimmten Sprachlernmodell basierenden, auf vorgegebenen Antwortmöglichkeiten beruhenden Bewertungssystem und einem strukturierten Bewertungsmodul, das die Antworten Kompetenzrahmen zuordnete.
Wir entschieden uns für eine Streaming-Architektur anstelle von Stapelverarbeitung, um die Bearbeitungszeit pro Interview unter 3 Minuten zu halten. Jedes gesprochene Wort wurde nahezu in Echtzeit transkribiert, anhand der Stellenanforderungen analysiert und anhand von Verhaltenskompetenzindikatoren bewertet – und das alles, ohne dass der Kandidat eine Verzögerung bemerkte.
Schnelle Entwicklung im Kern
Die Qualität der KI-Bewertung hing vollständig davon ab, wie gut wir die Fragen gestalteten und das Modell anhand domänenspezifischer Interviewdaten feinabstimmten. Wir entwickelten ein mehrschichtiges Fragensystem: eine Ebene für den Rollenkontext, eine Ebene für die Kompetenzdefinition und eine Ebene für Verhaltensindikatoren.
Das Modell wurde vor der Produktivsetzung anhand von 1.000 Beispielinterviews mit erfahrenen menschlichen Gutachtern evaluiert. Wir forderten einen Cohen-Kappa-Wert von über 0,75, bevor wir das System freigaben, um sicherzustellen, dass die KI-Bewertungen ebenso konsistent (und in mancher Hinsicht sogar objektiver) waren wie die menschlichen Gutachter.
Das Problem der Voreingenommenheit
Dies war der schwierigste Teil. Sprachmodelle übernehmen Verzerrungen aus den Trainingsdaten, und diese Verzerrungen können sich in unterschiedlichen Bewertungen aufgrund von Akzent, Wortwahl oder Kommunikationsstil äußern – Faktoren, die nicht mit der Arbeitsleistung korrelieren. Wir entwickelten eine aktive Pipeline zur Erkennung von Verzerrungen, die Bewertungen kennzeichnete, bei denen Indikatoren für geschützte Merkmale mit den Bewertungen zu korrelieren schienen, sowie einen nachträglichen Korrekturschritt, der die Bewertungen anhand dieser Signale normalisierte.
Ergebnisse
Das System ging nach 14 Wochen Entwicklungszeit live und ist seit 8 Monaten im Einsatz. Die Bearbeitungszeit pro Kandidat sank von 5 Werktagen auf 4 Stunden. Die Zufriedenheit der Personalverantwortlichen stieg um 40 %. Unsere vierteljährliche Überprüfung auf mögliche Verzerrungen ergab keine statistisch signifikanten Unterschiede in der Bewertung anhand demografischer Merkmale.
Die Lehre daraus: KI-Systeme, die mit weitreichenden Folgen für den Menschen zu tun haben, erfordern außerordentliche Sorgfalt, nicht nur in Bezug auf die KI selbst, sondern auch hinsichtlich ihrer Steuerung, Überwachung und kontinuierlichen Kalibrierung.