Creación de un sistema de entrevistas basado en IA: del concepto a la producción
Cómo diseñamos e implementamos una plataforma de entrevistas de IA escalable que procesa miles de evaluaciones diariamente, cubriendo las decisiones de arquitectura, los desafíos y las lecciones aprendidas.
La idea parece bastante simple: usar IA para realizar entrevistas iniciales de selección de candidatos a gran escala. Pero al analizarlo a fondo, rápidamente se comprende que se trata de un desafío de ingeniería y producto con muchos matices que afecta la precisión de la IA, la experiencia del candidato, la mitigación de sesgos, los flujos de trabajo de los reclutadores y la infraestructura en tiempo real.
Una gran empresa BFSI nos contrató para construir exactamente esto: un sistema de entrevistas impulsado por IA que pudiera gestionar más de 10 000 evaluaciones de candidatos mensuales, adaptarse a múltiples roles y competencias, y brindar a los gerentes de contratación evaluaciones estructuradas y prácticas en cuestión de minutos después de cada entrevista.
El desafío de la arquitectura
El principal desafío no fue desarrollar la IA, sino prepararla para producción a escala, con baja latencia, alta confiabilidad y calidad constante. Nuestra arquitectura se basó en tres componentes clave: un flujo de trabajo de voz a texto en tiempo real, un motor de evaluación basado en indicaciones y basado en un LLM optimizado, y un módulo de puntuación estructurado que relacionaba las respuestas con los marcos de competencias.
Optamos por una arquitectura de streaming en lugar de procesamiento por lotes para mantener el tiempo de respuesta por debajo de los 3 minutos por entrevista. Cada palabra hablada se transcribió casi en tiempo real, se analizó según los requisitos del puesto y se calificó según los indicadores de competencia conductual, todo ello sin que el candidato notara retraso alguno.
Ingeniería rápida en el núcleo
La calidad de la evaluación de IA estuvo completamente determinada por la precisión con la que diseñamos las indicaciones y ajustamos el modelo con datos de entrevistas específicos del dominio. Desarrollamos un sistema de indicaciones en capas: una capa de contexto del rol, una capa de definición de competencias y una capa de indicadores de comportamiento.
El modelo se evaluó con evaluadores humanos experimentados en 1000 entrevistas de muestra antes de su implementación en producción. Se exigió una puntuación de acuerdo Kappa de Cohen superior a 0,75 antes de aprobar el sistema, lo que garantizaba que las evaluaciones de IA fueran tan consistentes (y en algunas dimensiones, más objetivas) como las de los evaluadores humanos.
El problema del sesgo
Esta fue la parte más difícil. Los modelos lingüísticos heredan sesgos de los datos de entrenamiento, y estos sesgos pueden manifestarse en puntuaciones diferenciales basadas en el acento, la elección de vocabulario o el estilo de comunicación, ninguno de los cuales se correlaciona con el desempeño laboral. Desarrollamos un proceso de detección activa de sesgos que identificaba las evaluaciones donde los indicadores de características protegidas parecían correlacionarse con las puntuaciones, y un posprocesamiento de dessesgo que normalizaba las puntuaciones en función de estas señales.
Resultados
El sistema se puso en marcha tras 14 semanas de desarrollo y lleva 8 meses en funcionamiento. El tiempo de selección por candidato se ha reducido de 5 días hábiles a 4 horas. La satisfacción del responsable de contratación ha aumentado un 40 %. Nuestra auditoría de sesgo, realizada trimestralmente, no ha detectado diferencias estadísticamente significativas en la puntuación según indicadores demográficos.
La lección: los sistemas de IA que abordan resultados humanos importantes requieren un rigor extraordinario, no solo en la IA en sí, sino también en la gobernanza, el monitoreo y la calibración continua en torno a ella.