Undang-Undang AI Uni Eropa memilah sistem AI ke dalam beberapa kategori berdasarkan tingkat risiko. Risiko di sini mengacu pada kemungkinan dan tingkat keparahan potensi bahaya yang dapat ditimbulkan oleh AI terhadap kesehatan, keselamatan, atau hak asasi manusia. 

Secara umum, undang-undang tersebut membahas empat kategori risiko AI:

·       Risiko yang tidak dapat diterima

·       Risiko tinggi

·       Risiko terbatas

·       Risiko minimal

Aplikasi AI yang menimbulkan tingkat risiko yang tidak dapat diterima dilarang. Undang-Undang AI UE secara eksplisit mencantumkan semua praktik AI yang dilarang, yang meliputi:

• Sistem yang dengan sengaja memanipulasi orang untuk membuat pilihan berbahaya yang tidak akan mereka lakukan.
  
  
• Sistem yang mengeksploitasi usia, disabilitas, atau status sosial atau ekonomi seseorang untuk memengaruhi perilaku mereka secara material. 
  
  
• Sistem kategorisasi biometrik yang menggunakan data biometrik untuk menyimpulkan informasi pribadi yang sensitif, seperti ras, orientasi seksual, atau opini politik.
  
  
• Sistem penilaian sosial yang menggunakan perilaku dan karakteristik yang tidak relevan atau tidak penting untuk mendorong perlakuan yang merugikan orang lain.
  
  
• Sistem identifikasi biometrik jarak jauh secara real-time yang digunakan di tempat umum untuk tujuan penegakan hukum. Ada beberapa pengecualian sempit di sini, seperti menggunakan alat ini dalam pencarian yang ditargetkan untuk korban kejahatan serius tertentu.
  
  
• Sistem pemolisian prediktif yang membuat profil orang untuk mengevaluasi kemungkinan mereka melakukan kejahatan. 
  
  
• Basis data pengenalan wajah yang melakukan penggalian tanpa target dari gambar internet atau CCTV.
  
  
• Alat pengenalan emosi yang digunakan di sekolah atau tempat kerja, kecuali jika alat ini digunakan untuk tujuan medis atau keselamatan.

Komisi Eropa berhak untuk meninjau kembali dan mengubah daftar ini, sehingga ada kemungkinan lebih banyak lagi penggunaan AI yang akan dilarang di masa depan.

Sebagian besar tindakan berkaitan dengan sistem AI berisiko tinggi. Ada dua cara agar sistem dianggap berisiko tinggi berdasarkan Undang-Undang AI UE: jika digunakan dalam produk yang diatur atau secara eksplisit disebut berisiko tinggi. 

Produk di beberapa sektor, seperti mainan, peralatan radio, dan peralatan medis, sudah diatur oleh undang-undang Uni Eropa yang sudah ada sebelumnya. Setiap sistem AI yang berfungsi sebagai komponen keselamatan dari produk yang diatur ini, atau yang bertindak sebagai produk yang diatur itu sendiri, secara otomatis dianggap berisiko tinggi. 

Undang-undang tersebut juga mencantumkan penggunaan AI tertentu yang selalu dianggap berisiko tinggi. Ini termasuk:

• Sistem biometrik apa pun yang tidak secara tegas dilarang oleh Undang-Undang AI UE atau undang-undang UE atau negara anggota lainnya, kecuali sistem yang memverifikasi identitas seseorang (misalnya, menggunakan pemindai sidik jari untuk memberi seseorang akses ke aplikasi perbankan).
  
  
• Sistem yang digunakan sebagai komponen keselamatan untuk infrastruktur penting, seperti pasokan air, gas, dan listrik.
  
  
• Sistem yang digunakan dalam pelatihan pendidikan dan kejuruan, termasuk sistem yang memantau kinerja siswa, mendeteksi kecurangan, dan penerimaan langsung.
  
  
• Sistem yang digunakan di lingkungan kerja, seperti yang digunakan untuk merekrut kandidat, mengevaluasi pelamar, dan membuat keputusan promosi.
  
  
• Sistem yang digunakan untuk menentukan akses ke layanan swasta atau publik yang penting, termasuk sistem yang menilai kelayakan untuk tunjangan publik dan mengevaluasi nilai kredit. Ini tidak termasuk sistem yang digunakan untuk mendeteksi penipuan keuangan.
  
  
• Sistem yang digunakan untuk penegakan hukum, seperti poligraf berkemampuan AI dan analisis bukti.
  
  
• Sistem yang digunakan untuk migrasi dan kontrol perbatasan, seperti sistem yang memproses aplikasi visa. Ini tidak termasuk sistem yang memverifikasi dokumen perjalanan.
  
  
• Sistem yang digunakan dalam proses peradilan dan demokrasi, seperti sistem yang secara langsung memengaruhi hasil pemilu.
  
  
• Pembuatan profil—memproses data pribadi secara otomatis untuk mengevaluasi atau memprediksi beberapa aspek kehidupan seseorang, seperti preferensi produk mereka—selalu berisiko tinggi.

Seperti daftar AI yang dilarang, Komisi Eropa dapat memperbarui daftar ini di masa mendatang.

Penyedia sistem berisiko tinggi harus mengikuti aturan ini:

• Menerapkan sistem manajemen risiko berkelanjutan untuk memantau AI dan memastikan kepatuhan sepanjang siklus hidupnya. Penyedia diharapkan untuk mengurangi risiko yang ditimbulkan oleh penggunaan yang dimaksudkan dan penyalahgunaan yang dapat diperkirakan dari sistem mereka.
  
  
• Terapkan standar tata kelola data yang ketat untuk memastikan bahwa data pelatihan dan pengujian dikumpulkan, ditangani, dan dilindungi dengan benar. Data juga harus berkualitas tinggi, relevan dengan tujuan sistem, dan bebas dari bias.
  
  
• Memelihara dokumentasi teknis yang komprehensif mengenai spesifikasi desain sistem, kemampuan, batasan, dan upaya kepatuhan terhadap peraturan.
  
  
• Menerapkan log peristiwa otomatis di alat AI untuk membantu melacak operasi sistem, melacak hasil, dan mengidentifikasi risiko dan insiden serius.
  
  
• Menyediakan informasi yang dibutuhkan oleh para pengguna sistem AI untuk mematuhi peraturan, termasuk instruksi yang jelas tentang cara menggunakan sistem, menafsirkan hasil, dan memitigasi risiko.
  
  
• Merancang sistem untuk mendukung dan memungkinkan pengawasan manusia, seperti dengan menyediakan antarmuka yang memungkinkan pengguna untuk memantau, menimpa, dan mengintervensi operasi sistem.
  
  
• Memastikan bahwa sistem AI cukup akurat, kuat, dan aman. Ini dapat mencakup membuat sistem cadangan, merancang algoritma untuk menghindari bias, dan menerapkan kontrol keamanan siber yang sesuai.

Jika sistem AI termasuk dalam salah satu kategori berisiko tinggi namun tidak menimbulkan ancaman signifikan terhadap kesehatan, keselamatan, atau hak-hak, penyedia layanan dapat mengesampingkan persyaratan ini. Penyedia harus mendokumentasikan bukti bahwa sistem tersebut tidak menimbulkan risiko, dan regulator dapat menghukum organisasi yang salah mengklasifikasikan sistem.

Sistem AI dengan risiko terbatas adalah sistem yang memenuhi kewajiban transparansi tertentu—aturan yang harus diikuti oleh jenis AI tertentu terlepas dari tingkat risikonya. Aturan-aturan ini meliputi:

• Sistem AI harus menginformasikan dengan jelas kepada pengguna ketika mereka berinteraksi dengan kecerdasan buatan. Misalnya, chatbot harus memberi tahu orang-orang bahwa itu adalah chatbot.
  
  
• Organisasi harus memberi tahu orang-orang setiap kali mereka menggunakan sistem pengenalan emosi atau kategorisasi biometrik. Setiap data pribadi yang dikumpulkan melalui sistem ini harus ditangani sesuai dengan GDPR. 
  
  
• Sistem AI generatif yang membuat teks, gambar, atau konten lainnya harus menggunakan tanda air atau sinyal lain yang dapat dibaca mesin untuk menandai konten tersebut sebagai konten yang dibuat oleh AI. 
  
  
• Deployer harus dengan jelas memberi label deepfake dan mengomunikasikan fakta ini kepada audiens.
  
  
• Deployer yang menggunakan AI untuk menghasilkan teks tentang hal-hal yang menyangkut kepentingan publik, seperti artikel berita, harus melabeli teks tersebut sebagai teks yang dihasilkan oleh AI , kecuali jika ada editor manusia yang mengulas dan bertanggung jawab atas teks tersebut.

Kategori risiko minimal (terkadang disebut 'kategori risiko minimal atau tanpa risiko') mencakup alat AI yang tidak berinteraksi langsung dengan manusia atau yang memiliki dampak material yang sangat kecil ketika berinteraksi. Contohnya termasuk filter spam email dan AI dalam video game. Banyak penggunaan AI umum saat ini termasuk dalam kategori ini. 

Sebagian besar peraturan UU AI tidak berlaku untuk AI dengan risiko minimal (meskipun beberapa mungkin perlu memenuhi kewajiban transparansi yang tercantum di atas).

Karena model GPAI sangat mudah beradaptasi, mungkin sulit untuk mengkategorikannya sesuai dengan tingkat risiko. Karena alasan ini, Undang-Undang AI UE menciptakan seperangkat aturan terpisah secara eksplisit untuk GPAI.

Semua penyedia model GPAI harus:

• Menjaga dokumentasi teknis terbaru yang menjelaskan, antara lain, desain model, pengujian, dan proses pelatihan.
  
  
• Memberikan deployer model mereka, seperti organisasi yang membangun sistem AI di atasnya, dengan informasi yang mereka butuhkan untuk menggunakan model secara bertanggung jawab. Informasi ini mencakup kemampuan, keterbatasan, dan tujuan yang dimaksudkan model.
  
  
• Menetapkan kebijakan untuk mematuhi undang-undang hak cipta UE.
  
  
• Menulis dan menyediakan ringkasan terperinci dari kumpulan data pelatihan untuk umum.

Sebagian besar model GPAI open-source gratis dikecualikan dari dua persyaratan pertama. Mereka hanya perlu mengikuti undang-undang hak cipta dan berbagi ringkasan data pelatihan.

Undang-Undang AI UE menganggap beberapa model GPAI menimbulkan risiko sistemik. Risiko sistemik adalah potensi suatu model untuk menyebabkan kerusakan serius dan luas terhadap kesehatan, keselamatan, atau hak-hak dasar masyarakat. 

Di bawah undang-undang tersebut, model dikatakan menimbulkan risiko sistemik jika memiliki "kemampuan berdampak tinggi". Pada dasarnya, ini berarti kemampuan model ini menyamai atau melampaui kemampuan GPAI paling canggih yang tersedia pada saat itu. 

Undang-undang tersebut menggunakan sumber daya pelatihan sebagai kriteria utama untuk mengidentifikasi risiko sistemik. Jika jumlah kumulatif daya komputasi yang digunakan untuk melatih model lebih besar dari 1025 floating point operations (FLOP), maka model tersebut dianggap memiliki kemampuan berdampak tinggi dan menimbulkan risiko sistemik. 

Komisi Eropa juga dapat mengklasifikasikan sebuah model sebagai risiko sistemik jika mereka menentukan bahwa model tersebut memiliki dampak yang setara dengan kemampuan berisiko tinggi tersebut, meskipun tidak memenuhi ambang batas FLOPs. 

Model GPAI yang menimbulkan risiko sistemik—termasuk model sumber terbuka dan gratis—harus memenuhi semua persyaratan sebelumnya ditambah beberapa kewajiban tambahan:

• Melakukan evaluasi model terstandarisasi, termasuk pengujian adversarial, untuk mengidentifikasi dan memitigasi risiko sistemik.
  
  
• Mendokumentasikan dan melaporkan insiden serius ke Kantor AI UE dan regulator tingkat negara yang relevan.
  
  
• Menerapkan kontrol keamanan yang memadai untuk melindungi model dan infrastruktur fisiknya.

Penyedia model GPAI dapat mencapai kepatuhan dengan mengadopsi kode praktik sukarela, yang saat ini sedang disusun oleh Kantor AI Uni Eropa. Kode tersebut diharapkan selesai dalam waktu sembilan bulan setelah tindakan tersebut berlaku. Penyedia yang tidak mengadopsi kode ini harus membuktikan kepatuhan mereka dengan cara lain. 

Penyedia, penyebar, importir, dan distributor secara umum bertanggung jawab untuk memastikan produk AI yang mereka buat, gunakan, atau edarkan sudah sesuai. Mereka harus mendokumentasikan bukti kepatuhan mereka dan membagikannya dengan pihak berwenang atas permintaan. Mereka juga harus berbagi informasi dan bekerja sama satu sama lain untuk memastikan bahwa setiap organisasi dalam rantai pasokan AI dapat mematuhi Undang-Undang AI UE.

Penyedia dan deployer juga harus memastikan bahwa anggota staf atau pihak lain yang bekerja dengan AI atas nama organisasi memiliki literasi AI yang diperlukan untuk menangani AI secara bertanggung jawab.

Di luar persyaratan umum ini, masing-masing pihak mempunyai kewajiban spesifiknya sendiri.

• Merancang sistem dan model AI untuk memenuhi persyaratan yang relevan.
  
  
• Kirimkan produk AI baru yang berisiko tinggi kepada pihak yang berwenang untuk penilaian kesesuaian sebelum dipasarkan. Penilaian kesesuaian adalah evaluasi pihak ketiga atas kepatuhan produk dengan Undang-Undang AI UE. 
  
  
• Jika penyedia melakukan perubahan substansial pada produk AI yang mengubah tujuan atau memengaruhi status kepatuhannya, penyedia harus menyerahkan kembali produk tersebut untuk dinilai.
  
  
• Mendaftarkan produk AI berisiko tinggi ke basis data tingkat Uni Eropa.
  
  
• Menerapkan rencana pemantauan pasca-pasar untuk melacak kinerja AI dan memastikan kepatuhan yang berkelanjutan selama siklus hidup sistem.
  
  
• Melaporkan insiden AI yang serius—seperti kematian, gangguan infrastruktur penting, dan pelanggaran hak-hak dasar—kepada otoritas negara anggota dan mengambil tindakan korektif yang diperlukan. 

• Menggunakan sistem AI untuk tujuan yang dimaksudkan dan seperti yang diinstruksikan oleh penyedia.
  
  
• Memastikan bahwa sistem yang berisiko tinggi memiliki pengawasan manusia yang tepat.
  
  
• Menginformasikan kepada penyedia, distributor, pihak berwenang, dan pihak terkait lainnya tentang insiden AI yang serius.
  
  
• Menyimpan log sistem AI selama setidaknya enam bulan atau lebih, tergantung pada undang-undang negara anggota.
  
  
• Deployer yang menggunakan sistem AI berisiko tinggi untuk menyediakan layanan penting—seperti lembaga keuangan, badan pemerintah, dan lembaga penegak hukum—harus melakukan penilaian dampak hak asasi manusia sebelum menggunakan AI untuk pertama kalinya.

Importir dan distributor harus memastikan bahwa sistem dan model AI yang mereka edarkan mematuhi Undang-Undang AI UE. 

Importir atau distributor dianggap sebagai penyedia AI jika mereka mencantumkan nama atau merek dagangnya sendiri pada suatu produk atau melakukan perubahan substansial pada produk tersebut. Dalam hal ini, importir atau distributor harus memikul semua tanggung jawab penyedia yang diuraikan dalam undang-undang.