Apa yang dimaksud dengan kecerdasan data? 

Dengan kata lain, kecerdasan data membantu organisasi menjawab pertanyaan inti tentang data mereka, termasuk:

• Data apa yang dimiliki organisasi? Mengapa data ini ada?

• Dari mana data berasal dan di mana data berada? 

• Siapa yang menggunakan data? Bagaimana mereka menggunakannya—dan bagaimana mereka menggunakannya untuk hasil terbaik?

• Bagaimana kumpulan data yang berbeda terkait satu sama lain?

Kecerdasan data menjawab pertanyaan-pertanyaan ini dengan menggunakan serangkaian proses dan alat yang saling terhubung untuk mengotomatiskan dan menyederhanakan manajemen metadata, penemuan data, tata kelola data, jaminan kualitas, analisis data, dan aktivitas lainnya.

Sebanyak 68% data perusahaan tidak pernah dianalisis, menurut IBM Data Differentiator. Karena banyaknya data yang mereka kelola, organisasi dapat merasa kesulitan untuk menerapkan kontrol kualitas dan menegakkan kebijakan tata kelola. Pengguna tidak selalu dapat menemukan data yang tepat untuk pekerjaan mereka—dan bahkan mungkin tidak tahu kapan data itu ada. 

Kecerdasan data hadir untuk mengatasi masalah ini dengan menyatukan alat yang ada—seperti katalog data, solusi silsilah data, pasar digital, kecerdasan buatan (AI) dan machine learning (ML)—dalam satu proses yang komprehensif.  

Proses terpadu ini memberi organisasi lebih banyak insight tentang data mereka dan cara mendapatkan nilai maksimal darinya. Dengan cara ini, DI memungkinkan analisis layanan mandiri dan mendukung inisiatif utama seperti intelijen bisnis dan AI generatif.

Manajemen data adalah disiplin luas yang mengawasi seluruh siklus hidup data dari pembuatan hingga pembuangan. Jika manajemen data berkaitan dengan kepraktisan pengumpulan, penyimpanan, dan pemrosesan data, maka kecerdasan data berkaitan dengan pemahaman terhadap data tersebut.

Kecerdasan data melengkapi manajemen data dengan memberikan wawasan yang dibutuhkan organisasi untuk membuat pilihan yang lebih tepat dalam mengambil, mengamankan, membersihkan, dan berbagi data.

Sejak awal Web 2.0 dan munculnya komputasi cloud, organisasi telah mengumpulkan lebih banyak data (data pelanggan, data operasional, data transaksional) dari lebih banyak sumber data (aplikasi web, sistem bisnis, perangkat Internet of Things). Kemunculan AI generatif hanya meningkatkan nilai—dan jumlah—dari semua data ini.

Mengelola data ini—melacak bagaimana data ini digunakan dan bagaimana perubahannya, menyimpannya dengan aman, memfasilitasi akses, menjaganya tetap bersih dan mutakhir—bisa jadi sulit dilakukan. Jika data tidak dikelola dengan baik, mungkin sulit bagi konsumen data untuk menemukan data yang mereka butuhkan, apalagi mendapatkan wawasan yang dapat ditindaklanjuti darinya.

Organisasi telah lama memiliki kemampuan untuk mengelola data—alat silsilah data untuk memetakan siklus data secara menyeluruh, alat tata kelola untuk menentukan kebijakan penggunaan, alat pembuatan profil dan pembersihan data, dan sebagainya. Namun, kemampuan ini sering terpecah, tersebar di berbagai produk dan fungsi.  

Inovasi utama dari disiplin kecerdasan data adalah menyatukan alat-alat ini dengan teknologi AI dan ML canggih, baik dalam satu platform atau dalam tumpukan data yang terintegrasi erat.  

Menurut IDC, banyak platform kecerdasan data saat ini berevolusi dari alat katalog data. Sejak tahun 2020, vendor semakin sering menggabungkan katalog mereka dengan solusi pelengkap, seperti alat silsilah data dan pasar digital, atau membangun fungsi-fungsi ini secara langsung ke dalam katalog mereka.¹

Kecerdasan data adalah bidang yang terus berkembang, dengan berbagai vendor dan praktisi yang menyajikan pandangan mereka sendiri tentang disiplin ini. Namun, sebagian besar setuju bahwa kecerdasan data mencakup lima fungsi inti:

• Manajemen metadata
• Silsilah data
• Tata kelola data
• Kualitas data
• Integrasi data

Metadata adalah informasi tentang titik data atau kumpulan data, seperti penulis atau ukuran file. Manajemen metadata merupakan dasar dari inisiatif kecerdasan data karena metadata yang dikelola dengan baik membantu pengguna menavigasi sistem data yang kompleks dengan mudah.

Manajemen metadata membantu mengatur, memberi label, memfilter, dan mengurutkan kumpulan data sehingga pengguna mendapatkan gambaran lengkap tentang data yang tersedia bagi mereka dan dapat dengan cepat mengambil informasi yang mereka butuhkan.

Manajemen metadata aktif sangat penting untuk kecerdasan data. Sementara manajemen metadata tradisional sebagian besar bersifat manual, manajemen metadata aktif menggunakan AI dan ML untuk mengotomatiskan pemrosesan metadata.

Saat data diubah dan digunakan, metadatanya dapat berubah. Manajemen metadata aktif melacak perubahan ini, secara otomatis memperbarui metadata dan menggunakan metadata untuk menghasilkan rekomendasi dan peringatan. Dengan cara ini, hal ini dapat merampingkan penemuan data, meningkatkan kepercayaan terhadap data, serta memungkinkan perlindungan dan tata kelola data dalam skala besar.

Silsilah data adalah proses pelacakan aliran data dari waktu ke waktu. Proses ini memberikan pemahaman yang jelas tentang dari mana data berasal, bagaimana data tersebut berubah, dan tujuan akhirnya di dalam pipa data.

Silsilah data membantu pengguna memahami bagaimana data berubah sepanjang siklus hidupnya, yang menjadikan data perusahaan lebih andal. Ini juga membantu organisasi dalam mendeteksi kesalahan, mengidentifikasi dependensi dan mengantisipasi bagaimana perubahan pada kumpulan data dapat memengaruhi operasi perusahaan dan sistem TI yang lebih luas.

Tata kelola data membantu memastikan integritas data dan keamanan data dengan mendefinisikan dan menerapkan kebijakan, standar, dan prosedur untuk pengumpulan, kepemilikan, penyimpanan, pemrosesan, dan penggunaan data.     

Tata kelola data membantu menjaga data yang aman, berkualitas tinggi, mudah diakses, dan sesuai dengan peraturan dan regulasi yang relevan. Dalam upaya kecerdasan data, kebijakan tata kelola membantu pengguna memahami bagaimana mereka dapat dan seharusnya menggunakan data.  

Misalnya, kebijakan tata kelola dapat mencegah ilmuwan data memasukkan data pelanggan sensitif ke model AI yang melanggar undang-undang privasi data.  

Alat dan praktik kualitas data membantu memastikan akurasi, kelengkapan, validitas, konsistensi, keunikan, ketepatan waktu, dan kesesuaian kumpulan data untuk tujuan. Upaya kualitas data membangun kepercayaan pengguna pada kesimpulan dan insight yang mereka ambil dari data perusahaan.

Inisiatif DI sering juga mencakup master data management (MDM). Data master adalah data inti dari organisasi terkait entitas bisnis utama, seperti pelanggan, produk, dan lokasi. MDM memastikan bahwa data ini bersih dan konsisten melalui validasi, penggabungan, deduplikasi, dan pengayaan.  

Integrasi data adalah proses menggabungkan dan menyelaraskan data dari berbagai sumber untuk memfasilitasi penggunaannya untuk tujuan analitis, operasional dan pengambilan keputusan. Integrasi dapat melibatkan standardisasi format data, mengubah data menjadi format yang lebih dapat digunakan, dan menyatukan data dari sumber yang berbeda dalam data lake bersama, gudang data, atau data lakehouse.  

Integrasi data merampingkan akses data dan berbagi data, sehingga memudahkan konsumen data untuk mengambil data yang mereka butuhkan dan berkolaborasi satu sama lain.

Beberapa vendor menawarkan platform kecerdasan data yang menggabungkan berbagai fitur dan fungsi dalam satu solusi. Vendor lain menawarkan portofolio terintegrasi solusi pelengkap. Dalam kedua kasus tersebut, alat teknologi mendasar di balik sebagian besar inisiatif kecerdasan data meliputi: 

• Katalog data
• Alat silsilah data
• Pasar digital data dan hub produk 
• Kecerdasan buatan dan machine learning
• Data lake, gudang, dan lakehouse

Katalog data menggunakan metadata untuk membuat inventaris terperinci dan dapat dicari dari semua aset data dalam suatu organisasi. Hal ini memudahkan konsumen data untuk menemukan data yang paling tepat untuk tujuan analitis atau bisnis apa pun. 

Selain inventarisasi data, banyak katalog data modern memiliki kemampuan seperti:

• Mekanisme tata kelola data, termasuk kemampuan untuk menetapkan dan menegakkan penggunaan data dan kebijakan privasi data, seperti dengan menyunting informasi sensitif secara otomatis.

• Manajemen metadata aktif, dengan menggunakan AI dan ML untuk secara otomatis menghasilkan metadata dan memperbarui catatan saat data berubah.

• Glosarium bisnis, yang memungkinkan organisasi membuat definisi dan kerangka kerja standar untuk istilah kunci, konsep, dan entitas inti di seluruh organisasi.

• Kontrol kualitas data, seperti pembuatan profil data, pembersihan, validasi, dan metrik kualitas.

Alat silsilah data secara otomatis memetakan aliran data, transformasi, dan dependensi, yang memberikan wawasan penting ke dalam siklus data. Solusi silsilah data memungkinkan organisasi untuk melihat dari mana data berasal, bagaimana data pindah melalui ekosistem TI perusahaan, bagaimana data berubah, dan bagaimana konsumen data menggunakannya.

Pasar digital, juga disebut hub produk data, merupakan platform digital tempat pengguna dapat mengakses dan berbagi produk data.  

Produk data adalah kumpulan data yang sudah dikemas, diproses sebelumnya, dan siap dikonsumsi atau aset terkait data yang dapat digunakan seseorang untuk mendukung upaya BI, analitik, dan ilmu data. Contoh produk data termasuk kumpulan data yang dikurasi, dasbor analitik, model machine learning, aplikasi khusus, dan visualisasi data.

Pasar digital memusatkan dan merampingkan pembuatan, kurasi, pengelolaan, dan berbagi produk data. Pasar digital membantu memastikan kualitas data dan kepatuhan dengan kerangka kerja tata kelola terintegrasi. Pasar digital juga memecah silo data dengan mengotomatiskan pengiriman produk data dan memungkinkan berbagi produk data skala besar dari sumber yang berbeda.

Alat AI dan ML, aplikasi AI generatif baru, dan model bahasa besar (LLM), membantu meningkatkan praktik kecerdasan data di luar manajemen data tradisional. Baik sebagai solusi mandiri maupun terintegrasi dengan alat lain, AI dan ML dapat mengotomatiskan pengayaan data dan metadata, menyederhanakan penggalian data , serta memungkinkan manajemen data AI tingkat lanjut.

Sebagai contoh, LLM yang terintegrasi dapat secara otomatis menghasilkan dan memperbarui metadata dalam katalog data, sehingga memberikan penjelasan yang lebih mudah digunakan untuk membuat data lebih mudah diakses oleh lebih banyak pemangku kepentingan. Antarmuka bahasa alami yang didukung oleh LLM memungkinkan pengguna menanyakan kumpulan data dan wawasan tanpa perlu menggunakan bahasa kueri terstruktur (SQL) atau bahasa khusus lainnya.

Alat AI juga dapat membantu menegakkan kebijakan tata kelola dan kontrol kualitas, seperti dengan menemukan dan mengklasifikasikan data sensitif atau mengidentifikasi kumpulan data duplikat.  

Data lake, gudang data, dan data lakehouse adalah solusi pengelolaan dan penyimpanan data dengan fitur dan fungsi yang berbeda.

• Gudang data mengumpulkan, membersihkan, dan menyiapkan data sehingga dapat digunakan untuk intelijen bisnis dan analisis data.  

• Data lake menyimpan sejumlah besar data mentah dengan biaya rendah.  

• Data lakehouse menggabungkan penyimpanan data lake yang fleksibel dan kemampuan analitik kinerja tinggi dari gudang menjadi satu solusi.

Gudang, lake, dan lakehouse mendukung upaya integrasi data dengan memungkinkan organisasi untuk menyatukan data dari sumber yang berbeda dalam tempat penyimpanan terpusat. Semua itu juga membuatnya lebih mudah untuk mengakses dan menggunakan data untuk analitik, BI, AI, ML, dan aplikasi ilmu data.

Kecerdasan data membantu organisasi:

• Memahami data mereka melalui katalog data yang komprehensif, alat silsilah data, dan manajemen metadata aktif. 

• Memfasilitasi akses data melalui katalog data yang dapat dicari, penyimpanan data terintegrasi, dan pusat produk data terpusat. 

• Memastikan kualitas data melalui metadata yang diperbarui secara otomatis, pembuatan profil data, dan pembersihan.

• Memandu penggunaan data melalui kebijakan tata kelola yang ditentukan dan hub produk data yang menampung aset yang dikurasi untuk penggunaan tertentu.

Akibatnya, organisasi dapat memperoleh manfaat seperti:  

Kecerdasan data mempromosikan literasi data dan memungkinkan analitik layanan mandiri dengan memberi pengguna insight yang mereka butuhkan untuk memahami dan menggunakan data perusahaan. Pemangku kepentingan di semua tingkatan dan dalam semua peran dapat menggunakan data untuk membuat keputusan yang lebih tepat.

IBM Data Differentiator melaporkan bahwa 82% perusahaan mengalami silo data yang menghambat alur kerja utama. Kecerdasan data membantu memberantas silo ini dan mengurangi kompleksitas infrastruktur data melalui katalog data dan pasar digital yang terpusat.

Pengguna di seluruh organisasi dapat menemukan data yang tepat untuk tujuan mereka, menyederhanakan efisiensi operasional dan meningkatkan kolaborasi.

Menurut Gartner, organisasi kehilangan rata-rata USD 12,9 juta karena kualitas data yang buruk.² Melalui penelusuran data, pembuatan profil data, dan upaya tata kelola, kecerdasan data mempertahankan kualitas data tingkat tinggi sehingga organisasi bisa mendapatkan nilai lebih dari data mereka.

Kecerdasan data mengintegrasikan kerangka kerja tata kelola ke dalam titik akses data utama, seperti katalog data dan pasar digital data. Ini membantu memastikan bahwa konsumen data hanya menggunakan data untuk tujuan resmi, melindungi dari peretasan, pencurian, penyalahgunaan, dan ketidakpatuhan. Tata kelola sangat penting untuk industri yang diatur dengan ketat seperti keuangan dan perawatan kesehatan.

Menurut IBM Institute for Business Value, 72% CEO berkinerja terbaik setuju bahwa memiliki alat AI generatif paling canggih memberi organisasi keunggulan kompetitif. Dan AI generatif canggih membutuhkan data berkualitas tinggi dalam jumlah besar yang mudah diakses.

Kecerdasan data membantu meningkatkan kualitas data, memfasilitasi akses, dan menegakkan kebijakan tata kelola untuk memastikan bahwa data hanya digunakan untuk tujuan yang tepat, bagian inti dari AI yang bertanggung jawab. 

Salah satu contoh penggunaan khusus untuk kecerdasan data adalah dalam bidang kecerdasan model AI. Kecerdasan model adalah praktik memahami, mengelola, dan mengatur siklus hidup berbagai model AI dan ML dalam portofolio organisasi.

Daripada mengandalkan satu model, banyak organisasi saat ini menggunakan berbagai model untuk tujuan yang berbeda. Inisiatif kecerdasan data memberikan transparansi kepada organisasi untuk memilih data yang tepat untuk model yang tepat dengan alasan yang tepat.  

Secara khusus, kecerdasan data dapat membantu organisasi memilih data yang tepat dalam hal tata kelola—apakah data ini diotorisasi untuk digunakan dalam model ini—dan kebugaran—apakah data ini akurat dan cukup relevan untuk model ini?

Selain itu, banyak vendor memasukkan fungsi manajemen model ke dalam penawaran kecerdasan data mereka. Misalnya, beberapa katalog data memperkenalkan fitur katalog model, memungkinkan mereka untuk menginventarisasi model AI dan ML organisasi dengan cara yang sama mereka menginventarisasi data perusahaan. 

Kecerdasan data adalah cara untuk memahami data yang dimiliki oleh sebuah organisasi—fitur-fiturnya yang menentukan, cara mengaksesnya, dan cara menggunakannya. Analisis data, ilmu data, dan intelijen bisnis adalah cara menggunakan data tersebut.

• Analisis data menggali wawasan yang dapat ditindaklanjuti dari data untuk membuat keputusan yang lebih baik. Analisis data dapat dilakukan dalam berbagai bentuk, seperti analisis prediktif—menggunakan data untuk membuat prediksi tentang masa depan—dan analitik preskriptif—menggunakan data untuk menentukan hal yang harus dilakukan selanjutnya.

• Ilmu data adalah disiplin ilmu khusus yang menggabungkan matematika, statistik, pemrograman, analitik tingkat lanjut, AI, ML, dan keahlian dalam subjek tertentu.  

• Intelijen bisnis (BI) mengacu pada alat dan teknik yang digunakan untuk menghimpun, mengelola, dan menganalisis data perusahaan untuk menginformasikan operasi bisnis.

Kecerdasan data memfasilitasi analisis data, ilmu data, dan BI dengan membantu pengguna lebih memahami dan menggunakan kumpulan data organisasi mereka. Ketika pengguna mengetahui jenis data yang dimiliki organisasi dan untuk apa data tersebut dapat digunakan, mereka dapat lebih mudah terhubung dengan kumpulan data yang tepat untuk tujuan mereka.  

Misalnya, ilmuwan data dapat menemukan data berkualitas tinggi dan sesuai untuk melatih algoritma machine learning; Pengguna BI dapat menemukan kumpulan data yang dikurasi yang disesuaikan dengan domain spesifik mereka.