Keandalan data mengacu pada kelengkapan dan keakuratan data sebagai ukuran seberapa baik data tersebut dapat diandalkan untuk konsisten dan bebas dari kesalahan lintas waktu dan sumber.
Semakin andal data tersebut, semakin dapat dipercaya. Kepercayaan terhadap data memberikan dasar yang kuat untuk mendapatkan wawasan yang bermakna dan pengambilan keputusan yang tepat, baik dalam penelitian akademis, analisis bisnis, maupun kebijakan publik.
Data yang tidak akurat atau tidak dapat diandalkan dapat menghasilkan kesimpulan yang salah, model yang cacat, dan pengambilan keputusan yang buruk. Itulah mengapa semakin banyak perusahaan yang memperkenalkan Chief Data Officer - sebuah angka yang meningkat dua kali lipat di antara perusahaan-perusahaan publik antara tahun 2019 hingga 2021.1
Risiko data yang buruk dikombinasikan dengan keunggulan kompetitif dari data yang akurat berarti bahwa inisiatif keandalan data harus menjadi prioritas setiap bisnis. Agar berhasil, penting untuk memahami apa saja yang terlibat dalam menilai dan meningkatkan keandalan, yang sebagian besar bergantung pada observabilitas data, kemudian menetapkan tanggung jawab dan tujuan yang jelas untuk perbaikan.
Menerapkan kemampuan pengamatan data secara menyeluruh membantu tim rekayasa data memastikan keandalan data di seluruh tumpukan data mereka dengan mengidentifikasi, memecahkan masalah, dan menyelesaikan masalah sebelum masalah data yang buruk menyebar.
Lihat cara observabilitas data proaktif dapat membantu Anda mendeteksi insiden data lebih awal dan menyelesaikannya dengan lebih cepat.
Berlangganan buletin IBM
Mengukur keandalan data Anda memerlukan tiga faktor inti:
1. Apakah datanya valid?
Validitas data ditentukan oleh apakah data tersebut disimpan dan diformat dengan cara yang benar dan mengukur apa yang ingin diukur. Misalnya, jika Anda mengumpulkan data baru tentang fenomena dunia nyata tertentu, data tersebut hanya valid jika secara akurat mencerminkan fenomena tersebut dan tidak dipengaruhi oleh faktor luar.
2. Apakah sudah lengkap?
Kelengkapan data mengidentifikasi jika ada sesuatu yang hilang dari informasi. Meskipun data bisa saja valid, data tersebut mungkin masih belum lengkap jika tidak ada kolom-kolom penting yang dapat mengubah pemahaman seseorang terhadap informasi tersebut. Data yang tidak lengkap dapat menyebabkan analisis yang bias atau salah.
3. Apakah datanya unik?
Keunikan data memeriksa setiap duplikasi dalam kumpulan data. Keunikan ini penting untuk menghindari representasi yang berlebihan, yang akan menjadi tidak akurat.
Untuk melangkah lebih jauh, beberapa tim data juga melihat berbagai faktor lain, termasuk:
- Jika dan kapan sumber data diubah
- Perubahan apa yang dilakukan pada data
- Seberapa sering data diperbarui
- Dari mana data tersebut berasal
- Berapa kali data tersebut telah digunakan
Mengukur keandalan data sangat penting untuk membantu tim membangun kepercayaan pada kumpulan data mereka dan mengidentifikasi potensi masalah sejak dini. Pengujian data yang teratur dan efektif dapat membantu tim data dengan cepat menemukan masalah untuk menentukan sumber masalah dan mengambil tindakan untuk memperbaikinya.
Platform data modern tidak hanya didukung oleh teknologi, tetapi juga oleh DevOps, DataOps, dan filosofi tangkas. Meskipun DevOps dan DataOps memiliki tujuan yang sama sekali berbeda, namun keduanya memiliki kesamaan filosofi tangkas, yang dirancang untuk mempercepat siklus kerja proyek.
DevOps berfokus pada pengembangan produk, sementara DataOps berfokus pada pembuatan dan pemeliharaan sistem arsitektur data terdistribusi yang memberikan nilai bisnis dari data.
Tangkas adalah filosofi untuk pengembangan perangkat lunak yang mengedepankan kecepatan dan efisiensi, tetapi tanpa menghilangkan faktor "manusia". Hal ini menekankan pada percakapan tatap muka sebagai cara untuk memaksimalkan komunikasi, sekaligus menekankan otomatisasi sebagai cara untuk meminimalkan kesalahan.
Keandalan data dan validitas data membahas dua aspek yang berbeda dari kualitas data.
Dalam konteks manajemen data, kedua kualitas tersebut memainkan peran penting dalam memastikan integritas dan kegunaan data yang ada.
- Keandalan data berfokus pada konsistensi dan pengulangan data di berbagai pengamatan atau pengukuran. Pada dasarnya, data yang dapat diandalkan harus menghasilkan hasil yang sama atau sangat mirip setiap kali pengukuran atau pengamatan tertentu diulang. Keandalan ini tentang memastikan bahwa data stabil dan konsisten dari waktu ke waktu dan dalam konteks yang berbeda.
- Validitas data, dalam arti validasi data, menyangkut keakuratan, struktur dan integritas data. Validitas ini memastikan bahwa setiap data baru diformat dengan benar, sesuai dengan aturan yang diperlukan dan akurat dan bebas dari korupsi. Contohnya, kolom tanggal harus berisi tanggal dan bukan karakter alfanumerik. Data yang tidak valid dapat menyebabkan berbagai masalah, seperti kesalahan aplikasi, hasil analisis data yang salah, dan kualitas data yang buruk secara keseluruhan.
Meskipun keandalan data dan validitas data saling terkait, keduanya tidak dapat dipertukarkan. Sebagai contoh, Anda mungkin memiliki proses pengumpulan data yang sangat andal (memberikan hasil yang konsisten dan dapat diulang), namun jika data yang dikumpulkan tidak divalidasi (tidak sesuai dengan aturan atau format yang disyaratkan), hasil akhirnya akan tetap berupa data yang berkualitas rendah.
Sebaliknya, Anda bisa saja memiliki data yang valid (memenuhi semua aturan format dan integritas), tetapi jika proses pengumpulan data tersebut tidak dapat diandalkan (memberikan hasil yang berbeda pada setiap pengukuran atau pengamatan), maka kegunaan dan kepercayaan data tersebut menjadi dipertanyakan.
Untuk menjaga keandalan data, metode yang konsisten untuk mengumpulkan dan memproses semua jenis data harus ditetapkan dan diikuti dengan cermat. Untuk keabsahan data, protokol validasi data yang ketat harus diterapkan. Hal ini dapat mencakup hal-hal seperti pemeriksaan tipe data, pemeriksaan rentang, pemeriksaan integritas referensial, dan lainnya. Protokol ini akan membantu memastikan bahwa data dalam format yang tepat dan mematuhi semua aturan yang diperlukan.
Semua inisiatif keandalan data menimbulkan masalah dan tantangan yang cukup besar di banyak bidang penelitian dan analisis data, termasuk:
Cara data dikumpulkan dapat sangat memengaruhi keandalannya. Jika metode yang digunakan untuk mengumpulkan data cacat atau bias, data tidak akan dapat diandalkan. Selain itu, kesalahan pengukuran dapat terjadi pada titik pengumpulan data, selama entri data atau ketika data sedang diproses atau dianalisis.
Data harus konsisten dari waktu ke waktu dan di berbagai konteks yang berbeda agar dapat diandalkan. Data yang tidak konsisten dapat muncul karena perubahan teknik pengukuran, definisi, atau sistem yang digunakan untuk mengumpulkan data.
Kesalahan manusia selalu menjadi sumber potensial yang tidak dapat diandalkan. Hal ini dapat terjadi karena beberapa kasus, seperti entri data yang salah, pengodean data yang tidak konsisten, dan kesalahan interpretasi data.
Dalam beberapa kasus, apa yang diukur dapat berubah seiring waktu, sehingga menyebabkan masalah keandalan. Misalnya, model pembelajaran mesin yang memprediksi perilaku konsumen mungkin dapat diandalkan saat pertama kali dibuat, tetapi bisa menjadi tidak akurat karena perilaku konsumen yang mendasarinya berubah.
Praktik tata kelola data yang tidak konsisten dan kurangnya pengelolaan data dapat mengakibatkan kurangnya akuntabilitas untuk kualitas dan keandalan data.
Ketika sumber data berubah atau mengalami pembaruan, hal ini dapat mengganggu keandalan data, terutama jika format atau struktur data berubah. Integrasi data dari sumber data yang berbeda juga dapat menyebabkan masalah keandalan data dalam platform data modern Anda.
Catatan atau entri duplikat dapat menyebabkan ketidakakuratan dan hasil yang tidak tepat. Mengidentifikasi dan menangani duplikasi merupakan tantangan dalam menjaga keandalan data.
Mengatasi masalah dan tantangan ini membutuhkan kombinasi proses kualitas data, tata kelola data, validasi data, dan praktik manajemen data.
Memastikan keandalan data Anda adalah aspek mendasar dari manajemen data yang baik. Berikut adalah beberapa praktik terbaik untuk memelihara dan meningkatkan keandalan data di seluruh tumpukan data Anda:
- Melakukan standarisasi pengumpulan data: Tetapkan prosedur yang jelas dan terstandarisasi untuk pengumpulan data. Hal ini dapat membantu mengurangi variasi dan memastikan konsistensi dari waktu ke waktu.
- Melatih pengumpul data: Individu yang mengumpulkan data harus dilatih dengan baik untuk memahami metode, alat, dan protokol untuk meminimalkan kesalahan manusia. Mereka harus menyadari pentingnya data yang dapat diandalkan dan konsekuensi dari data yang tidak dapat diandalkan.
- Audit rutin: Audit data rutin sangat penting untuk menangkap inkonsistensi atau kesalahan yang dapat mempengaruhi keandalan. Audit ini tidak hanya tentang menemukan kesalahan, tetapi juga tentang mengidentifikasi akar penyebab kesalahan dan menerapkan tindakan perbaikan.
- Gunakan instrumen yang andal: Gunakan alat dan instrumen yang telah diuji keandalannya. Misalnya, jika Anda menggunakan pemrosesan streaming, uji dan pantau streaming peristiwa untuk memastikan data tidak terlewatkan atau diduplikasi.
- Pembersihan data: Gunakan proses pembersihan data yang ketat. Hal ini harus mencakup identifikasi dan penanganan outlier, nilai yang hilang, dan ketidakkonsistenan. Gunakan metode sistematis untuk menangani data yang hilang atau bermasalah.
- Memelihara data dictionary: Data dictionary adalah tempat penyimpanan informasi terpusat mengenai data, seperti jenis data, arti, hubungan dengan data lain, asal, penggunaan, dan format. Hal ini membantu menjaga konsistensi data dan memastikan semua orang menggunakan dan menafsirkan data dengan cara yang sama.
- Pastikan reproduktifitas data: Dokumentasikan semua langkah dalam pengumpulan dan pemrosesan data memastikan orang lain dapat mereproduksi hasil Anda, yang merupakan aspek penting dari keandalan. Hal ini termasuk memberikan penjelasan yang jelas mengenai metodologi yang digunakan dan mempertahankan kontrol versi untuk data dan kode.
- Terapkan tata kelola data: Kebijakan tata kelola data yang baik dapat membantu meningkatkan keandalan data. Hal ini melibatkan kebijakan dan prosedur yang jelas tentang siapa yang dapat mengakses dan memodifikasi data serta menyimpan catatan yang jelas tentang semua perubahan yang dilakukan pada kumpulan data.
- Pencadangan dan pemulihan data: Cadangkan data secara teratur untuk menghindari kehilangan data. Selain itu, pastikan ada sistem yang andal untuk pemulihan data jika terjadi kehilangan data.
Observabilitas data adalah tentang memahami kesehatan dan status data di sistem Anda. Ini mencakup berbagai kegiatan yang melampaui sekadar menggambarkan masalah. Observabilitas data dapat membantu mengidentifikasi, memecahkan masalah, dan menyelesaikan masalah data secara hampir real-time.
Yang terpenting, observabilitas data sangat penting untuk mengatasi masalah data yang buruk, yang merupakan inti dari keandalan data. Jika dilihat lebih dalam, observabilitas data mencakup aktivitas seperti pemantauan, peringatan, pelacakan, perbandingan, analisis, pencatatan, pelacakan SLA, dan silsilah data, yang kesemuanya bekerja sama untuk memahami kualitas data secara menyeluruh, termasuk keandalan data.
Ketika dilakukan dengan baik, observabilitas data dapat membantu meningkatkan keandalan data dengan memungkinkan untuk mengidentifikasi masalah sejak dini, sehingga seluruh tim data dapat lebih cepat merespons, memahami sejauh mana dampaknya, dan memulihkan keandalan.
Dengan menerapkan praktik dan alat observabilitas data, organisasi dapat meningkatkan keandalan data, memastikan bahwa data tersebut akurat, konsisten, dan dapat dipercaya di seluruh siklus hidup data. Hal ini sangat penting terutama dalam lingkungan berbasis data di mana data berkualitas tinggi dapat secara langsung berdampak pada kecerdasan bisnis, keputusan berbasis data, dan hasil bisnis.
IBM® Databand® adalah perangkat lunak observabilitas untuk pipeline dan data gudang yang secara otomatis mengumpulkan metadata untuk membangun garis dasar historis, mendeteksi anomali, dan memberikan peringatan triase untuk memperbaiki masalah kualitas data.
Mendukung pola ETL dan ELT, IBM® DataStage® menghadirkan integrasi data yang fleksibel dan hampir real-time, baik on premises maupun di cloud.
Katalog data cerdas untuk era AI, Katalog Pengetahuan IBM® memungkinkan Anda mengakses, mengkurasi, mengategorikan, dan membagikan data, aset pengetahuan, dan hubungannya, di mana pun mereka berada.
Kini Anda bisa mengukur analitik dan AI dengan penyimpanan data yang sesuai dengan kebutuhan, yang dibangun di atas arsitektur lakehouse terbuka, didukung oleh kueri, tata kelola, dan format data terbuka untuk mengakses dan berbagi data.
Pelajari lebih lanjut untuk memahami apa itu observabilitas data, mengapa hal ini penting, bagaimana hal ini berkembang seiring dengan sistem data modern dan praktik terbaik untuk mengimplementasikan kerangka kerja observabilitas data.
Memastikan data berkualitas tinggi adalah tanggung jawab teknisi data dan seluruh organisasi. Artikel ini menjelaskan pentingnya kualitas data, cara mengaudit dan memantau data Anda, serta cara mendapatkan dukungan dari para pemangku kepentingan.
Dalam hal kualitas data, ada beberapa metrik penting, termasuk kelengkapan, konsistensi, kesesuaian, akurasi, integritas, ketepatan waktu, ketersediaan, dan kesinambungan, hanya untuk beberapa nama.
Catatan kaki
1. Pada data yang kita percayai (tautan berada di luar ibm.com), PwC, 28 April 2022