Ketika AI melakukan kesalahan karena bias-seperti sekelompok orang yang tidak diberi kesempatan, salah diidentifikasi dalam foto, atau dihukum secara tidak adil-organisasi yang tersinggung akan mengalami kerusakan pada merek dan reputasinya. Pada saat yang sama, orang-orang dalam kelompok-kelompok tersebut dan masyarakat secara keseluruhan dapat mengalami bahaya tanpa menyadarinya. Berikut ini adalah beberapa contoh terkenal tentang kesenjangan dan bias dalam AI dan bahaya yang dapat ditimbulkannya.

Dalam perawatan kesehatan, data yang kurang mewakili perempuan atau kelompok minoritas dapat membuat algoritme AI prediktif menjadi tidak akurat^.2 Sebagai contoh, sistem diagnosis berbantuan komputer (CAD) telah ditemukan memberikan hasil akurasi yang lebih rendah untuk pasien Afrika-Amerika daripada pasien kulit putih.

Meskipun alat bantu AI dapat merampingkan otomatisasi pemindaian resume selama pencarian untuk membantu mengidentifikasi kandidat yang ideal, informasi yang diminta dan jawaban yang disaring dapat menghasilkan hasil yang tidak proporsional di seluruh kelompok. Misalnya, jika sebuah iklan lowongan kerja menggunakan kata "ninja," maka iklan tersebut akan menarik lebih banyak pria daripada wanita, meskipun hal tersebut sama sekali bukan merupakan persyaratan pekerjaan^.3   

Sebagai uji coba pembuatan gambar, Bloomberg meminta lebih dari 5.000 gambar AI untuk dibuat dan menemukan bahwa, "Dunia menurut Stable Diffusion dijalankan oleh CEO pria kulit putih. Perempuan jarang sekali menjadi dokter, pengacara, atau hakim. Pria berkulit gelap melakukan kejahatan, sementara wanita berkulit gelap^membalikkan  burger. "4  Midjourney melakukan studi serupa tentang pembuatan seni AI, meminta gambar orang-orang dalam profesi khusus. Hasil penelitian menunjukkan bahwa baik yang lebih muda maupun yang lebih tua, tetapi yang lebih tua selalu laki-laki, memperkuat bias gender terhadap peran perempuan di tempat kerja^.5 

Alat pemolisian prediktif yang didukung AI yang digunakan oleh beberapa organisasi dalam sistem peradilan pidana seharusnya dapat mengidentifikasi area-area di mana kejahatan kemungkinan besar akan terjadi. Namun, mereka sering kali mengandalkan data historis penangkapan, yang dapat memperkuat pola-pola yang sudah ada dalam pembuatan profil rasial dan penargetan yang tidak proporsional terhadap komunitas minoritas^.6

Hasil yang terdistorsi dapat merugikan organisasi dan masyarakat luas. Berikut ini adalah beberapa jenis^bias AI yang lebih umum7. 

• Bias algoritma: Informasi yang salah dapat terjadi jika masalah atau pertanyaan yang diajukan tidak sepenuhnya benar atau spesifik, atau jika masukan ke algoritme machine learning tidak membantu memandu pencarian solusi. 

• Bias kognitif: Teknologi AI membutuhkan manusia input, dan manusia bisa saja melakukan kesalahan. Bias pribadi dapat merembes tanpa disadari oleh para praktisi. Hal ini dapat berdampak pada dataset atau perilaku model. 
   

• Bias konfirmasi:Terkait erat dengan bias kognitif, hal ini terjadi ketika AI terlalu bergantung pada keyakinan atau tren yang sudah ada sebelumnya dalam data-menggandakan bias yang sudah ada, dan tidak dapat mengidentifikasi pola atau tren baru. 
   

• Bias pengecualian: Jenis bias ini terjadi ketika data penting tidak disertakan dalam data yang digunakan, sering kali karena pengembang gagal melihat faktor-faktor baru dan penting. 
   

• Bias pengukuran: Bias pengukuran disebabkan oleh data yang tidak lengkap. Hal ini sering kali merupakan kekeliruan atau kurangnya persiapan yang mengakibatkan dataset yang dihasilkan tidak mencakup seluruh populasi yang seharusnya dipertimbangkan. Sebagai contoh, jika sebuah perguruan tinggi ingin memprediksi faktor keberhasilan kelulusan, tetapi hanya menyertakan lulusannya saja, jawabannya akan benar-benar melewatkan faktor-faktor yang menyebabkan beberapa orang putus sekolah. 
   

• Bias homogenitas di luar kelompok: Ini adalah kasus tidak mengetahui apa yang tidak diketahui. Ada kecenderungan bahwa orang memiliki pemahaman yang lebih baik mengenai anggota ingroup-kelompok di mana seseorang berada-dan Think mereka lebih beragam daripada anggota outgroup. Hasilnya dapat berupa pengembang membuat algoritma yang kurang mampu membedakan antara individu yang bukan bagian dari kelompok mayoritas dalam data pelatihan, yang mengarah pada bias rasial, kesalahan klasifikasi, dan jawaban yang salah. 

• Bias prasangka: Terjadi ketika stereotip dan asumsi masyarakat yang salah masuk ke dalam kumpulan data algoritme, yang pasti akan menghasilkan Hasil yang bias. Sebagai contoh, AI dapat mengembalikan Hasil yang menunjukkan bahwa hanya laki-laki yang menjadi dokter dan semua perawat adalah perempuan. 
   

• Bias mengingat: Hal ini berkembang selama pelabelan data, di mana label diterapkan secara tidak konsisten oleh pengamatan subjektif.  
   

• Bias Sampel/Pemilihan: Ini adalah masalah ketika data yang digunakan untuk melatih model machine learning tidak cukup besar, tidak cukup representatif, atau terlalu tidak lengkap untuk melatih sistem secara memadai. Jika semua guru sekolah yang dikonsultasikan untuk melatih model AI memiliki kualifikasi akademis yang sama, maka setiap guru yang dipertimbangkan di masa depan harus memiliki kualifikasi akademis yang sama. 
   

• Bias stereotip: Hal ini terjadi ketika sistem AI-biasanya secara tidak sengaja-memperkuat stereotip yang berbahaya. Misalnya, sistem penerjemahan bahasa dapat mengasosiasikan beberapa bahasa dengan jenis kelamin atau stereotip etnis tertentu. McKinsey memberikan peringatan tentang upaya menghapus prasangka dari kumpulan data: "Sebuah tindakan naif Approach adalah menghapus kelas-kelas yang dilindungi (seperti jenis kelamin atau ras) dari data dan menghapus label-label yang membuat algoritme menjadi bias. Namun, Approach ini mungkin tidak berfungsi karena label yang dihapus dapat memengaruhi pemahaman model dan akurasi Hasil Anda dapat menjadi lebih buruk. "⁸

Langkah pertama untuk menghindari jebakan bias adalah dengan melangkah mundur dari awal dan mempertimbangkan upaya AI. Seperti halnya dengan hampir semua tantangan bisnis, masalah jauh lebih mudah untuk diperbaiki di awal daripada menunggu kecelakaan pelatihan dan kemudian memilah-milah Hasil yang rusak. Tetapi banyak organisasi yang terburu-buru: sen-bijaksana-dan-pound-bodoh, dan itu merugikan mereka. 

Mengidentifikasi dan mengatasi bias dalam AI membutuhkan tata kelola AI, atau kemampuan untuk mengarahkan, mengelola, dan memantau aktivitas AI dalam sebuah organisasi. Dalam praktiknya, tata kelola AI menciptakan serangkaian kebijakan, praktik, dan kerangka kerja untuk memandu pengembangan dan penggunaan Teknologi AI yang bertanggung jawab. Jika dilakukan dengan baik, tata kelola AI membantu memastikan adanya keseimbangan manfaat yang diberikan kepada bisnis, pelanggan, karyawan, dan masyarakat secara keseluruhan.

Tata kelola AI sering kali mencakup metode yang bertujuan untuk menilai keadilan, kesetaraan, dan inklusi. Pendekatan seperti keadilan kontrafaktual mengidentifikasi bias dalam pengambilan keputusan model dan memastikan Hasil yang adil, bahkan ketika atribut sensitif, seperti jenis kelamin, ras, atau orientasi seksual disertakan.

 Karena kompleksitas AI, sebuah algoritme dapat menjadi sistem kotak hitam dengan sedikit Insight data yang digunakan untuk membuatnya. Praktik transparansi dan Teknologi membantu memastikan bahwa data yang tidak bias digunakan untuk membangun sistem dan bahwa Hasil akan adil. Perusahaan yang bekerja untuk melindungi informasi pelanggan membangun kepercayaan merek dan lebih mungkin untuk menciptakan sistem AI yang dapat dipercaya.

Untuk memberikan lapisan jaminan kualitas lainnya, buatlah sistem "human-in-the-loop" untuk menawarkan opsi atau membuat rekomendasi yang kemudian dapat disetujui oleh keputusan manusia.

Berikut ini adalah daftar periksa enam langkah proses yang dapat menjaga program AI bebas dari bias.

1. Pilih model pembelajaran yang tepat:

• Ketika menggunakan model yang diawasi, pemangku kepentingan memilih data pelatihan. Sangat penting bagi tim pemangku kepentingan untuk memiliki beragam pemangku kepentingan-bukan hanya ilmuwan data-dan mereka telah mengikuti pelatihan untuk membantu mencegah bias yang tidak disadari.  
  
• Model tanpa pengawasan menggunakan AI saja untuk mengidentifikasi bias. Alat pencegah bias perlu dibangun ke dalam jaringan saraf sehingga jaringan saraf dapat belajar untuk mengenali apa yang bias.

2. Melatih dengan data yang benar: machine learning melatih dengan data yang salah akan menghasilkan hasil yang salah. Data apa pun yang dimasukkan ke dalam AI harus lengkap dan seimbang untuk mereplikasi demografi aktual dari kelompok yang sedang dipertimbangkan.     

3. Pilih tim yang seimbang: Semakin beragam tim AI-secara ras, ekonomi, tingkat pendidikan, jenis kelamin, dan deskripsi pekerjaan-semakin besar kemungkinan tim tersebut akan mengenali bias. Bakat dan sudut pandang dalam tim AI yang lengkap harus mencakup inovator bisnis AI, pencipta AI, pelaksana AI, dan representasi konsumen dari upaya AI khusus ini^.9  

4. Lakukan pemrosesan data dengan hati-hati: Bisnis perlu menyadari adanya bias pada setiap langkah saat memproses data. Risiko tidak hanya pada pemilihan data: baik selama pra-pemrosesan, dalam pemrosesan, atau pasca-pemrosesan, bias dapat merayap masuk kapan saja dan dimasukkan ke dalam AI.  

5. Pantau terus menerus: Tidak ada model yang pernah lengkap atau permanen. Pemantauan dan pengujian yang berkelanjutan dengan data dunia nyata dari seluruh organisasi dapat membantu mendeteksi dan mengoreksi bias sebelum hal tersebut menyebabkan kerugian. Untuk menghindari bias, organisasi harus mempertimbangkan penilaian oleh tim independen dari dalam organisasi atau pihak ketiga yang tepercaya.  

6. Hindari masalah infrastruktur: Selain pengaruh manusia dan data, terkadang infrastruktur itu sendiri dapat menyebabkan bias. Contohnya, dengan menggunakan data yang dikumpulkan dari sensor mekanis, peralatan itu sendiri dapat menyuntikkan bias jika sensor tidak berfungsi. Bias semacam ini bisa jadi sulit dideteksi dan membutuhkan investasi dalam infrastruktur digital dan teknologi terbaru.