Isi
- Bias Kecantikan AI
- Bias Jender dalam Bahasa
- 2. Diskriminasi gender dan usia dalam pekerjaan
- Gagal Mengenali Wajah
- Bias residivisme
Bawa pulang:
Dalam beberapa tahun terakhir, AI telah semakin diadopsi dan diterapkan untuk segala sesuatu mulai dari menilai kecantikan hingga menilai risiko residivisme. Dalam melakukan hal itu, ia juga menjunjung tinggi standar yang mendukung bias dan diskriminasi dalam beberapa kasus.
Kemajuan teknologi berpotensi untuk benar-benar mendemokratisasi akses ke informasi dan peluang. Namun, ketika dalam beberapa kasus, ini digunakan dengan cara-cara yang memperkuat gagasan bahwa dalam masyarakat kita beberapa orang lebih setara daripada yang lain.
Ini apa yang telah kita lihat dari tujuh contoh berikut di mana kecerdasan buatan (AI) sengaja digunakan untuk mengecualikan kategori tertentu atau di mana itu hanya mencerminkan bias yang tertanam oleh programmer manusia dengan efek diskriminatif.
Bias Kecantikan AI
Keindahan mungkin ada di mata yang melihatnya, tetapi ketika pandangan subjektif itu dapat memprogram AI, Anda bias dalam program tersebut. Rachel Thomas melaporkan pada satu episode seperti itu dalam kompetisi kecantikan dari beauty.ai pada 2016. Hasilnya menunjukkan bahwa kulit yang lebih ringan dinilai lebih menarik daripada yang gelap.
Tahun berikutnya, "FaceApp, yang menggunakan jaringan saraf untuk membuat filter untuk foto, menciptakan 'filter panas' yang meringankan kulit orang dan memberi mereka lebih banyak fitur Eropa."
Bias Jender dalam Bahasa
Thomas juga mengutip contoh terjemahan terdokumentasi yang membawa ekspektasi stereotip tentang karier. Titik awalnya adalah dua kalimat: "Dia adalah seorang dokter. Dia adalah seorang perawat."
Jika Anda menerjemahkannya ke Turki dan kembali ke bahasa Inggris, Anda akan mendapatkan hasil seperti yang Anda harapkan dari permainan telepon.
Alih-alih mendapatkan apa yang Anda mulai dengan, Anda mendapatkan semacam harapan tahun 1950-an, "Dia adalah seorang dokter. Dia adalah seorang perawat." Dia menjelaskan itu karena kata ganti tunggal netral-gender dalam bahasa Turki yang akan menetapkan gender berdasarkan harapan dan bias stereotip. (Baca Wanita dalam AI: Memperkuat Seksisme dan Stereotip dengan Teknologi.)
Sementara bias rasial dan gender yang disaring ke dalam gambar dan bahasa merupakan penyebab kekesalan, mereka tidak persis sama dengan diskriminasi aktif yang dihasilkan dari AI, tetapi itu telah terjadi juga.
Buktinya adalah tangkapan layar dari pembatasan yang dimasukkan untuk iklan di bawah kategori perumahannya yang memungkinkan opsi untuk mempersempit audiens dengan memeriksa pengecualian kategori seperti Afrika Amerika, Asia Amerika atau Hispanik. Iklan dapat dilihat di sini.
Sebagaimana ProPublica tunjukkan, efek diskriminatif dari iklan semacam itu ilegal baik di bawah The Fair Housing Act 1968 dan The Civil Rights Act 1964. Satu-satunya pembelaan dalam kasus ini adalah bahwa iklan itu bukan untuk perumahan itu sendiri, karena bukan tentang properti atau rumah untuk dijual atau disewakan.
Namun, ada contoh lain dari penargetan yang menunjukkan bias rasial dan yang telah memotivasi berbagai entitas untuk membawa gugatan sipil terhadap jejaring sosial. Seperti yang dilaporkan Wired, akhirnya memutuskan untuk menyesuaikan teknologi penargetan iklannya sebagai hasil penyelesaian lima kasus hukum yang menuduhnya memungkinkan diskriminasi terhadap minoritas melalui iklan pada Maret 2019.
Dalam laporannya tentang penyelesaian tersebut, ACLU menunjukkan betapa berbahayanya iklan yang ditargetkan tersebut, karena minoritas dan perempuan bahkan mungkin tidak menyadari bahwa mereka tidak diberi akses yang sama ke informasi, perumahan, dan peluang kerja yang dibagi dengan pria kulit putih.
Karena semakin banyak orang beralih ke internet untuk mencari pekerjaan, apartemen, dan pinjaman, ada risiko nyata bahwa penargetan iklan akan mereplikasi dan bahkan memperburuk bias ras dan gender yang ada di masyarakat. Bayangkan jika seorang majikan memilih untuk menampilkan iklan untuk pekerjaan teknik hanya untuk laki-laki - tidak hanya pengguna yang tidak diidentifikasi sebagai laki-laki tidak akan pernah melihat iklan itu, mereka juga tidak akan pernah tahu apa yang mereka lewatkan.
Lagi pula, kita jarang memiliki cara untuk mengidentifikasi iklan yang tidak kita lihat online. Bahwa diskriminasi ini tidak terlihat oleh pengguna yang dikecualikan membuatnya semakin sulit untuk dihentikan.
2. Diskriminasi gender dan usia dalam pekerjaan
Di antara kasus-kasus hukum adalah diskriminasi ilegal di perumahan yang memungkinkan penargetan diizinkan. Dalam laporannya tentang penyelesaian, ProPublica mengatakan bahwa mereka telah menguji platform dan berhasil membeli "iklan terkait perumahan di kelompok yang dikecualikan seperti Afrika Amerika dan Yahudi, dan sebelumnya menemukan iklan pekerjaan tidak termasuk pengguna berdasarkan usia dan jenis kelamin yang ditempatkan oleh perusahaan itu adalah nama-nama rumah tangga. "
Sejumlah iklan pekerjaan yang ditemukan ACLU yang secara eksplisit ditujukan hanya untuk pria di kelompok usia tertentu, karena pengguna dapat menemukan dalam mengklik jawaban mengapa mereka ditampilkan iklan tertentu, ditampilkan dalam artikel Kabel lainnya. ACLU bertanggung jawab atas Komisi Kesempatan Kerja Setara melawan jejaring sosial dan perusahaan-perusahaan yang menempatkan iklan dengan alasan bahwa mereka melanggar undang-undang ketenagakerjaan dan hak-hak sipil.
Diskriminasi terhadap mempekerjakan orang berusia di atas 40 tahun melanggar Undang-undang Diskriminasi Ketenagakerjaan federal (ADEA). Tetapi menargetkan iklan kerja hanya untuk orang di bawah usia itu adalah salah satu hal yang dimungkinkan oleh platform.
ProPublica membuat fokus dari salah satu laporannya yang memperlihatkan iklan pekerjaan mana yang memanfaatkan bentuk pengecualian ilegal ini berdasarkan usia. "Nama-nama rumah tangga" termasuk Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Dana Untuk Kepentingan Umum, Goldman Sach, OpenWorks, dan dirinya sendiri, antara lain.
Gagal Mengenali Wajah
"Pengenalan Wajah Tepat, Jika Anda Seorang Pria Kulit Putih" menyatakan judul artikel New York Times yang diterbitkan pada Februari 2018. Artikel itu mengutip hasil yang menemukan korelasi berbeda antara warna kulit dan identifikasi yang salah:
"Semakin gelap kulitnya, semakin banyak kesalahan muncul - hingga hampir 35% untuk gambar wanita berkulit gelap, menurut sebuah studi baru yang memecahkan masalah dengan mengukur bagaimana teknologi bekerja pada orang-orang dari berbagai ras dan jenis kelamin."
Temuan ini dikreditkan ke Joy Buolamwini, seorang peneliti di MIT Media Lab, dan pendiri Algorithmic Justice League (AJL). Bidang penelitiannya adalah bias yang mendasari AI, menghasilkan hasil yang miring ketika harus mengenali wajah yang tidak sesuai dengan norma laki-laki kulit putih yang ditetapkan untuk model.
Buolamwini mempresentasikan masalah bias ras dan gender untuk pengenalan wajah dalam ceramah TED 2017, yang ia rujuk di awal 2018 dalam video pada The Gender Shades Project dari MIT Lab:
<
Yang dijabarkan dalam deskripsi video adalah bahwa membiarkan bias AI tidak terkendali, "akan melumpuhkan usia otomatisasi dan semakin memperburuk ketidaksetaraan jika dibiarkan membusuk." Risikonya tidak lain adalah "kehilangan hasil yang diperoleh dengan gerakan hak-hak sipil dan gerakan perempuan di bawah asumsi palsu tentang netralitas mesin."
Deskripsi video menambahkan peringatan yang sekarang banyak ditunjukkan oleh orang lain, seperti yang telah kita lihat dalam Women in AI: Memperkuat Seksisme dan Stereotip dengan Tech: "Sistem otomatis tidak secara inheren netral. Mereka mencerminkan prioritas, preferensi, dan prasangka — kode tatapan — dari mereka yang memiliki kekuatan untuk membentuk kecerdasan buatan. "
Pada 25 Januari 2019, Buolamnwini menerbitkan sebuah posting Medium yang mengacu pada penelitiannya sendiri dan penelitian tambahan yang menunjukkan bagaimana kesalahan AI menghasilkan kesalahan dalam Pengakuan Amazon dan menuntut agar perusahaan berhenti menjual layanan AI ke departemen kepolisian.
Sementara Rekognition dapat membanggakan akurasi 100% untuk mengenali pria berkulit terang dan akurasi 98,7% bahkan untuk pria yang lebih gelap, ketika datang ke wanita, akurasi turun menjadi 92,9% untuk wanita yang lebih ringan. Yang lebih mencolok adalah penurunan tajam ke akurasi hanya 68,6% untuk wanita yang lebih gelap.
Tetapi Amazon menolak untuk menyerah. Artikel Venture Beat mengutip pernyataan dari Dr. Matt Wood, manajer umum pembelajaran mendalam dan AI di AWS, di mana ia bersikeras bahwa temuan para peneliti tidak mencerminkan bagaimana sebenarnya AI digunakan, menjelaskan:
“Analisis wajah dan pengenalan wajah sangat berbeda dalam hal teknologi yang mendasari dan data yang digunakan untuk melatih mereka. Mencoba menggunakan analisis wajah untuk mengukur keakuratan pengenalan wajah tidak disarankan, karena itu bukan algoritma yang dimaksudkan untuk tujuan itu. "
Tapi itu bukan hanya mereka yang berafiliasi dengan pusat penelitian besar yang telah menemukan algoritma menjadi sangat bermasalah. ACLU menjalankan tesnya sendiri dengan biaya paling masuk akal $ 12,33, menurut laporan Gizmodo. Ditemukan bahwa Rekognition mencocokkan 28 anggota Kongres dengan foto-foto penjahat.
"Identifikasi palsu dibuat ketika ACLU dari California Utara menugaskan Rekognition dengan foto-foto yang cocok dari semua 535 anggota Kongres terhadap 25.000 foto foto yang tersedia untuk umum."
Karena 11 dari 28 adalah orang kulit berwarna, itu mencerminkan tingkat kesalahan 39% yang signifikan bagi mereka. Sebaliknya tingkat kesalahan secara keseluruhan adalah 5% lebih dapat diterima. Enam anggota Kaukus Hitam Kongres, yang termasuk di antara Rekognisi yang terkait dengan mugshots, menyatakan keprihatinan mereka dalam sebuah surat terbuka kepada CEO Amazon.
Bias residivisme
Bias yang tertanam dalam AI terhadap orang kulit berwarna menjadi masalah yang lebih serius ketika itu berarti lebih dari sekadar kesalahan dalam mengidentifikasi. Itu adalah temuan investigasi ProPublica lain di 2016. Konsekuensi dari bias semacam itu tidak lain adalah kebebasan individu ditambah dengan mengabaikan risiko nyata dari orang yang warna kulitnya disukai oleh algoritma.
Artikel tersebut merujuk pada dua kasus paralel yang melibatkan satu pelaku kulit putih dan satu kasus kulit hitam. Algoritma digunakan untuk memprediksi mana yang mungkin melanggar hukum lagi. Yang hitam dinilai berisiko tinggi, dan yang putih risiko rendah.
Prediksi itu salah sepenuhnya, dan orang kulit putih yang bebas harus dipenjara lagi. Ini sangat bermasalah karena pengadilan bergantung pada penilaian dalam memutuskan pembebasan bersyarat, dan itu berarti bahwa bias rasial yang dimasukkan ke dalam program berarti perlakuan yang tidak setara di bawah hukum.
ProPublica menguji algoritma itu sendiri, membandingkan skor risiko lebih dari 7.000 orang yang ditangkap di Broward County, Florida, pada 2013 dan 2014 dengan jumlah yang membawa tuntutan pidana baru terhadap mereka dalam dua tahun berikutnya.
Apa yang mereka temukan adalah bahwa hanya 20% dari prediksi untuk mengulangi kejahatan yang bersifat kekerasan menjadi kenyataan, dan lebih banyak kejahatan kecil hanya terjadi pada 61% dari mereka dengan skor yang mengindikasikan risiko.
Masalah sebenarnya bukan hanya kurangnya akurasi tetapi bias rasial yang terlibat:
- Formula tersebut secara khusus keliru menandai para terdakwa kulit hitam sebagai penjahat masa depan, dengan keliru melabeli mereka dengan cara ini hampir dua kali lipat tingkatnya sebagai terdakwa kulit putih.
- Terdakwa kulit putih diberi label yang salah sebagai risiko rendah lebih sering daripada terdakwa berkulit hitam.
Akibatnya, ini diterjemahkan ke dalam tingkat kesalahan 45% untuk orang kulit hitam dan 24% untuk orang kulit putih. Terlepas dari statistik yang mencolok itu, Thomas melaporkan bahwa Mahkamah Agung Wisconsin masih mendukung penggunaan algoritma ini. Dia juga merinci masalah lain yang terkait dengan algoritma residivisme.