Sangat penting bagi sebuah organisasi untuk memiliki pemahaman penuh tentang proses pengambilan keputusan AI dengan model pemantauan dan akuntabilitas AI serta tidak begitu saja mempercayainya. AI yang dapat dijelaskan dapat membantu manusia memahami dan menjelaskan algoritme machine learning (ML), pembelajaran mendalam, dan neural networks.
Model ML sering dianggap sebagai kotak hitam yang mustahil ditafsirkan.² Neural network yang digunakan dalam pembelajaran mendalam termasuk yang paling sulit dipahami manusia. Salah satu risiko yang sudah lama ada dalam pelatihan model AI yaitu bias. Ini sering kali didasarkan pada ras, jenis kelamin, usia, atau lokasi. Selain itu, performa model AI dapat berubah atau menurun karena perbedaan data produksi dengan data pelatihan. Karenanya, penting bagi bisnis untuk terus memantau dan mengelola model guna meningkatkan kemampuan penjelasan AI sambil mengukur dampak bisnis dari penggunaan algoritme tersebut. AI yang dapat dijelaskan juga membantu meningkatkan kepercayaan pengguna akhir, kemampuan audit model, dan penggunaan AI secara produktif. Ia juga memitigasi risiko kepatuhan, hukum, keamanan, dan reputasi produksi AI.
AI yang dapat dijelaskan adalah salah satu prasyarat utama penerapkan AI yang bertanggung jawab, yaitu sebuah metodologi untuk penerapan metode AI dalam skala besar di organisasi nyata dengan keadilan, kemampuan penjelasan model, dan akuntabilitas.³ Untuk membantu mengadopsi AI secara bertanggung jawab, organisasi perlu menanamkan prinsip-prinsip etika ke dalam aplikasi dan proses AI dengan membangun sistem AI berdasarkan kepercayaan dan transparansi.