Amazon desecha una herramienta secreta de reclutamiento por IA que mostraba prejuicios contra las mujeres

Los especialistas en aprendizaje automático de Amazon.com Inc AMZN.O descubrieron un gran problema: a su nuevo motor de contratación no le gustaban las mujeres.

El equipo había estado construyendo programas informáticos desde 2014 para revisar los currículos de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de los mejores talentos, dijeron a Reuters cinco personas familiarizadas con el esfuerzo.

Automatización

La automatización ha sido clave para el dominio del comercio electrónico de Amazon, ya sea dentro de los almacenes o en las decisiones de precios. La herramienta experimental de contratación de la compañía utilizaba inteligencia artificial para dar a los candidatos puntuaciones que iban de una a cinco estrellas, de forma parecida a como los compradores valoran los productos en Amazon, dijeron algunas de las personas.

«Todo el mundo quería este santo grial», dijo una de las personas. «Querían, literalmente, que fuera un motor en el que te diera 100 currículos, escupiera los cinco mejores y los contratáramos».

Pero en 2015, la compañía se dio cuenta de que su nuevo sistema no estaba calificando a los candidatos para puestos de desarrollador de software y otros puestos técnicos de una manera neutral en cuanto al género.

Esto se debe a que los modelos informáticos de Amazon fueron entrenados para examinar a los candidatos mediante la observación de patrones en los currículos enviados a la empresa durante un período de 10 años. La mayoría procedían de hombres, lo que refleja el predominio masculino en el sector tecnológico.

En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Penalizaba los currículos que incluían la palabra «femenino», como en «capitán de club de ajedrez femenino». Y degradó a graduados de dos universidades exclusivamente femeninas, según personas familiarizadas con el asunto. No especificaron los nombres de los colegios.

Amazon editó los programas para hacerlos neutrales a estos términos concretos. Pero eso no garantizaba que las máquinas no idearan otras formas de clasificar a los candidatos que pudieran resultar discriminatorias, dijeron las personas.

La empresa de Seattle acabó disolviendo el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza en el proyecto, según las personas, que hablaron bajo condición de anonimato. Los responsables de selección de personal de Amazon tenían en cuenta las recomendaciones generadas por la herramienta a la hora de buscar nuevas contrataciones, pero nunca se basaron únicamente en esas clasificaciones, dijeron.

Amazon declinó hacer comentarios sobre los retos de la tecnología, pero dijo que la herramienta «nunca fue utilizada por los reclutadores de Amazon para evaluar candidatos.» La empresa no dio más detalles. No disputó que los reclutadores miraran las recomendaciones generadas por el motor de reclutamiento.

El experimento de la compañía, del que Reuters es la primera en informar, ofrece un caso de estudio sobre las limitaciones del aprendizaje automático. También sirve de lección a la creciente lista de grandes empresas, entre ellas Hilton Worldwide Holdings Inc HLT.N y Goldman Sachs Group Inc GS.N, que buscan automatizar partes del proceso de contratación.

Alrededor del 55% de los directores de recursos humanos de Estados Unidos dijeron que la inteligencia artificial, o IA, sería una parte habitual de su trabajo en los próximos cinco años, según una encuesta de 2017 de la firma de software de talento CareerBuilder.

Hace tiempo que los empresarios sueñan con aprovechar la tecnología para ampliar la red de contratación y reducir la dependencia de las opiniones subjetivas de los reclutadores humanos. Pero informáticos como Nihar Shah, profesor de aprendizaje automático en la Universidad Carnegie Mellon, afirman que aún queda mucho por hacer.

«Cómo garantizar que el algoritmo sea justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable… eso aún está bastante lejos», afirma.

Lenguaje masculino

El experimento de Amazon comenzó en un momento crucial para el mayor minorista online del mundo. El aprendizaje automático estaba ganando terreno en el mundo de la tecnología, gracias al aumento de la potencia informática de bajo coste. Y el departamento de Recursos Humanos de Amazon estaba a punto de embarcarse en una oleada de contrataciones: Desde junio de 2015, la plantilla global de la empresa se ha más que triplicado hasta alcanzar los 575.700 trabajadores, según muestran los registros regulatorios.

Así que creó un equipo en el centro de ingeniería de Amazon en Edimburgo que llegó a tener una docena de personas. Su objetivo era desarrollar una IA capaz de rastrear rápidamente la web y detectar candidatos dignos de ser contratados, según explicaron personas familiarizadas con el asunto.

El grupo creó 500 modelos informáticos centrados en funciones laborales y ubicaciones específicas. Enseñaron a cada uno de ellos a reconocer unos 50.000 términos que aparecían en los currículos de candidatos anteriores. Los algoritmos aprendieron a dar poca importancia a las aptitudes comunes a todos los candidatos de TI, como la capacidad de escribir diversos códigos informáticos.

En su lugar, la tecnología favorecía a los candidatos que se describían a sí mismos utilizando verbos más comunes en los currículos de ingenieros varones, como «ejecutado» y «capturado», dijo una persona.

El sesgo de género no era el único problema. Los problemas con los datos en los que se basaban los modelos hacían que a menudo se recomendara a candidatos no cualificados para todo tipo de puestos. Como la tecnología arrojaba resultados casi aleatorios, Amazon cerró el proyecto.

¿El problema o la cura?

Otras empresas están avanzando, lo que subraya el afán de los empleadores por aprovechar la IA para la contratación.

Kevin Parker, director ejecutivo de HireVue, una startup cercana a Salt Lake City, afirma que la automatización está ayudando a las empresas a mirar más allá de las mismas redes de contratación en las que han confiado durante mucho tiempo. Su empresa analiza el habla y las expresiones faciales de los candidatos en entrevistas de vídeo para reducir la dependencia de los currículos.

«No se volvía a los mismos sitios de siempre, no se acudía sólo a las escuelas de la Ivy League», afirma Parker. Entre los clientes de su empresa figuran Unilever PLC ULVR.L y Hilton.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *