Cynical Sally← All rulings
Don'tEmployment Law

Membiarkan alat rekrutmen AI menyaring berdasarkan usia atau ciri terlindungi lain

Mengotomatiskan diskriminasi tidak mencucinya jadi bersih. Algoritmanya cuma melakukan hal ilegal lebih cepat dan berskala besar.

By Cynical SallyIssue NĀŗ 1

Ini bukan nasihat hukum. Sally menyindir perilaku dan kasus penggunaan secara umum, bukan situasi spesifik Anda, dan tidak ada di sini yang menggantikan pengacara sungguhan. Kasusnya nyata; apa yang Anda lakukan terhadapnya adalah urusan antara Anda dan seseorang yang berlisensi untuk menasihati Anda.

The use-case

Mengerahkan perangkat lunak rekrutmen yang menyaring pelamar berdasarkan usia, atau yang menjadi proksinya, serta karakteristik terlindungi lain.

This actually happenedA real case, in full
The receiptSettled

EEOC v. iTutorGroup, Inc.

No. 1:22-cv-02565 (E.D.N.Y.), settled 2023 Ā· US (EEOC)

What happened

Perangkat lunak rekrutmen iTutorGroup otomatis menolak pelamar perempuan berusia 55+ dan pelamar laki-laki berusia 60+, menyingkirkan lebih dari 200 orang.

The outcome

Penyelesaian diskriminasi AI pertama oleh EEOC: $365.000 plus tindakan injungsi, perubahan kebijakan, pelatihan, dan pemantauan bertahun-tahun.

Why

Sebuah alat rekrutmen otomatis menolak pelamar perempuan di atas 55 dan pelamar laki-laki di atas 60, menyingkirkan lebih dari dua ratus orang. Itu ketahuan saat seseorang melamar lagi hanya dengan mengubah tanggal lahirnya dan tiba-tiba dapat wawancara. Regulator memperlakukannya sebagai pelanggaran diskriminasi usia yang gamblang, karena memang persis begitu adanya.

Menaruh bias di dalam perangkat lunak tidak membuatnya netral. Kalau sebuah saringan menolak orang berdasarkan karakteristik terlindungi, atau proksi seperti tanggal lahir, itu keputusan ilegal yang sama seperti kalau seorang manusia melakukannya dengan tangan.

ā€œPerangkat lunakmu menolak semua orang di atas usia tertentu, dan satu-satunya yang ia saring dengan efisien adalah perusahaanmu masuk ke gugatan.ā€

What to do instead
  • 01Audit alat rekrutmen soal dampak tak setara sebelum dan sesudah diterapkan, dan teruslah melakukannya.
  • 02Pastikan tak ada karakteristik terlindungi, atau proksi dekatnya, yang menggerakkan keputusan penyaringan.
  • 03Jaga ada manusia yang bertanggung jawab atas hasilnya. Rasa percaya diri vendor bukan program kepatuhan.

Bukan nasihat hukum. Komentar umum atas sebuah kasus penggunaan, bukan situasi Anda. Bicaralah dengan pengacara sungguhan sebelum bertindak.