Cynical Sally← All rulings
Don'tEmployment Law

Dejar que una herramienta de contratacion con IA filtre por edad u otros rasgos protegidos

Automatizar la discriminacion no la blanquea. El algoritmo solo hace lo ilegal mas rapido y a escala.

By Cynical SallyIssue NĀŗ 1

Esto no es asesoramiento legal. Sally critica comportamientos y casos de uso en general, nunca tu situacion concreta, y nada de esto sustituye a un abogado de verdad. Los casos son reales; lo que hagas al respecto es asunto tuyo y de alguien con licencia para decirtelo.

The use-case

Desplegar software de reclutamiento que criba a los candidatos por edad, o por aproximaciones a ella, y otras caracteristicas protegidas.

This actually happenedA real case, in full
The receiptSettled

EEOC v. iTutorGroup, Inc.

No. 1:22-cv-02565 (E.D.N.Y.), settled 2023 Ā· US (EEOC)

What happened

El software de contratacion de iTutorGroup rechazaba automaticamente a las solicitantes de 55 anos o mas y a los solicitantes de 60 o mas, descartando a mas de 200 personas.

The outcome

El primer acuerdo de la EEOC por discriminacion con IA: 365.000 dolares mas medidas cautelares, cambios de politica, formacion y anos de supervision.

Why

Una herramienta de contratacion rechazaba automaticamente a las solicitantes mayores de 55 y a los solicitantes mayores de 60, descartando a mas de doscientas personas. Se descubrio cuando alguien volvio a solicitar cambiando solo la fecha de nacimiento y de repente consiguio una entrevista. Un regulador lo trato como una violacion lisa y llana de discriminacion por edad, porque era exactamente eso.

Meter el sesgo en software no lo vuelve neutral. Si un filtro rechaza a personas por una caracteristica protegida, o por una aproximacion como la fecha de nacimiento, es la misma decision ilegal que seria si la tomara un humano a mano.

ā€œTu software rechazo a todos los mayores de cierta edad, y lo unico que cribo con eficiencia fue a tu empresa hacia una demanda.ā€

What to do instead
  • 01Audita las herramientas de contratacion buscando impacto dispar antes y despues del despliegue, y sigue haciendolo.
  • 02Asegurate de que ninguna caracteristica protegida, ni aproximacion cercana, este dirigiendo las decisiones de cribado.
  • 03Manten a un humano responsable de los resultados. La confianza del proveedor no es un programa de cumplimiento.

Esto no es asesoramiento legal. Comentario general sobre un caso de uso, no sobre tu situacion. Habla con un abogado de verdad antes de actuar.