Apa itu data gelap?

Ada banyak penyebab data organisasi menjadi gelap, termasuk:

• Kurangnya kesadaran: Data yang diperoleh dalam operasi bisnis normal sering kali menjadi gelap karena organisasi tidak menyadari keberadaannya, atau tidak memahami nilai atau relevansinya.
  
  
• Data terjebak dalam silo: Ketika departemen yang berbeda dalam sebuah organisasi mengumpulkan dan menyimpan data secara independen, hal ini dapat menyebabkan fragmentasi dan isolasi data. Silo data ini mungkin tidak dapat diakses atau dilihat oleh tim lain, yang berpotensi menemukan data yang cukup berharga.
  
  
• Kurangnya tata kelola data: Tanpa adanya kerangka kerja tata kelola data yang solid, organisasi mungkin akan kesulitan untuk mengelola dan melacak data di seluruh ekosistem mereka secara efektif. Hal ini menyebabkan data menjadi tidak teratur, hilang, dan tidak dapat digunakan.
  
  
• Sistem lama: Saat organisasi meningkatkan perangkat lunak dan perangkat keras mereka, sistem lama mungkin akan berhenti digunakan atau menjadi kurang relevan. Data yang disimpan dalam sistem lama ini akan menjadi gelap jika tidak dapat diintegrasikan dengan alat analitik modern organisasi.
  
  
• Integrasi data yang tidak lengkap: Proses integrasi data yang tidak lengkap atau tidak efektif dapat menyebabkan kesenjangan dan ketidakkonsistenan data. Hal ini dapat menyebabkan kumpulan data tertentu tidak dapat diakses atau tidak terhubung dengan baik ke sumber data lainnya.
  
  
• Prioritas bisnis yang berubah: Seiring dengan perubahan prioritas bisnis, kumpulan data tertentu mungkin menjadi kurang relevan atau tidak lagi menjadi fokus. Data yang dulunya digunakan secara aktif mungkin tidak digunakan lagi seiring dengan perubahan tujuan organisasi.
  
  
• Sumber daya dan literasi yang terbatas: Organisasi dengan sumber daya terbatas mungkin memprioritaskan pengumpulan dan penyimpanan data daripada analisis data. Selain itu, literasi data yang tidak memadai di antara karyawan dapat menghambat penemuan dan pemanfaatan data yang berharga.
  
  
• Masalah kualitas data: Kualitas data yang buruk, seperti data yang tidak akurat atau tidak lengkap, dapat menyebabkan data diabaikan atau diabaikan. Data yang dianggap tidak dapat diandalkan cenderung tidak akan digunakan, dan secara langsung menjadikannya gelap.
  
  
• Tujuan kepatuhan terhadap peraturan: Banyak standar kepatuhan dan peraturan yang memaksa organisasi untuk mengikuti peraturan ketat tentang berapa lama mereka harus menyimpan data sensitif. Mereka sering kali menyimpannya lama setelah periode wajib karena gagal melacak data sensitif apa saja yang harus dimusnahkan.
  
  
• Data yang redundan, usang, dan trivial (ROT): ROT tercipta ketika karyawan menyimpan banyak salinan dari informasi yang sama, informasi yang sudah ketinggalan zaman, dan informasi asing yang tidak membantu organisasi mencapai tujuannya.

Dalam hal kemampuannya untuk ditemukan untuk inisiatif analitik data yang tepat waktu dan lengkap, data gelap dapat berupa data terstruktur, data tidak terstruktur, atau data semi-terstruktur.   

Data terstruktur adalah informasi yang ditambahkan ke spreadsheet atau bidang basis data yang ditentukan dengan jelas sebelum disimpan.

File log server, data sensor Internet of Things (IoT), basis data manajemen hubungan pelanggan (CRM), dan sistem perencanaan sumber daya perusahaan (ERP) adalah contoh data gelap yang tercipta dari sumber data terstruktur.

Meskipun sebagian besar bentuk data sensitif, seperti laporan bank elektronik, rekam medis, dan data pelanggan yang terenkripsi biasanya dalam bentuk terstruktur, tetapi sulit untuk dilihat dan dikategorikan karena masalah izin.

Tidak seperti data terstruktur, data tidak terstruktur mencakup informasi yang tidak dapat diatur dalam basis data atau spreadsheet untuk analisis tanpa konversi, kodifikasi, pemeringkatan, dan penataan.

Korespondensi email, PDF, dokumen teks, postingan media sosial, rekaman pusat panggilan, log obrolan, dan rekaman video pengawasan adalah contoh data gelap yang dibuat dari sumber data tidak terstruktur.

Data semi-terstruktur adalah data tidak terstruktur yang berisi beberapa informasi dalam bidang data yang ditentukan. Meskipun tidak memiliki kemudahan penemuan data gelap yang sama dengan data terstruktur, data ini dapat dicari atau dikatalogkan.

Contohnya termasuk kode HTML, faktur, grafik, tabel dan dokumen XML.

Terkadang data gelap tercipta karena masalah kualitas data.

Sebagai contoh, transkrip dari rekaman audio dibuat secara otomatis, tetapi AI yang membuat transkrip membuat beberapa kesalahan dalam transkripsi. Seseorang menyimpan transkrip, berpikir bahwa mereka akan memperbaikinya suatu saat, yang tidak pernah mereka lakukan.

Ketika mencoba membersihkan data berkualitas buruk, organisasi terkadang melewatkan apa yang menyebabkan masalah. Tanpa pemahaman yang tepat, tidak mungkin untuk memastikan bahwa masalah kualitas data tidak akan terus terjadi di masa mendatang.

Situasi ini kemudian menjadi siklus, karena alih-alih menerapkan kebijakan penghapusan untuk data gelap yang tidak pernah digunakan, organisasi membiarkan data tersebut terus berada di sana dan berkontribusi pada masalah kualitas data yang terus berkembang.

Untungnya, ada tiga langkah manajemen kualitas data yang dapat diambil oleh organisasi untuk membantu mengatasi masalah ini:

1. Menganalisis dan mengidentifikasi situasi "apa adanya": Untuk memprioritaskan masalah, pertama-tama kenali semua masalah yang ada saat ini, standar data yang ada, dan dampak bisnis.
   
   
2. Mencegah data buruk muncul kembali: Selanjutnya, evaluasi akar penyebab setiap masalah dan terapkan sumber daya untuk mengatasi masalah secara berkelanjutan sehingga tidak akan terjadi lagi.
   
   
3. Sering-seringlah berkomunikasi di sepanjang jalan: Bagikan apa yang sedang terjadi, apa yang sedang dilakukan tim, dampak dari pekerjaan tersebut, dan bagaimana upaya tersebut terhubung dengan tujuan bisnis.

Terlepas dari semua masalah biaya dan kualitas data dari data gelap, ada sisi positifnya. Seperti yang dikatakan Splunk, "data gelap mungkin merupakan salah satu sumber daya terbesar organisasi yang belum dimanfaatkan."³

Dengan mengambil pendekatan proaktif dalam mengelola data gelap, organisasi dapat menyinari data gelap. Hal ini tidak hanya mengurangi tanggung jawab dan biaya, tetapi juga memberi tim sumber daya yang mereka butuhkan untuk menemukan insight dari data tersembunyi.

Dalam hal menangani data gelap dan berpotensi menggunakannya untuk membuat keputusan berbasis data yang lebih baik, ada beberapa praktik terbaik yang harus diikuti:

Hancurkan silo

Data gelap sering muncul karena silo dalam organisasi. Satu tim membuat data yang dapat berguna bagi yang lain, tetapi tim lain tidak mengetahuinya. Memecah silo tersebut membuat data tersebut tersedia untuk tim yang membutuhkannya. Data berubah dari tidak dimanfaatkan menjadi memberikan nilai yang sangat besar.

Tingkatkan manajemen data

Penting untuk memahami data apa yang ada dalam organisasi. Upaya ini dimulai dengan mengklasifikasikan semua data dalam organisasi untuk mendapatkan tampilan yang lengkap dan akurat. Dari sana, tim dapat mulai mengatur data mereka dengan lebih baik dengan tujuan memudahkan individu di seluruh tim untuk menemukan dan menggunakan apa yang mereka butuhkan.

Tetapkan kebijakan tata kelola data

Memperkenalkan kebijakan tata kelola data dapat membantu meningkatkan tantangan jangka panjang. Kebijakan ini harus mencakup bagaimana semua data yang masuk ditinjau dan memberikan panduan yang jelas tentang apa yang harus disimpan (dan diorganisir untuk menjaga manajemen data yang jelas), diarsipkan, atau dimusnahkan. Bagian penting dari kebijakan ini adalah bersikap ketat tentang data apa yang harus dihancurkan dan kapan. Menerapkan tata kelola data dan meninjau praktik-praktiknya secara teratur dapat membantu meminimalkan jumlah data gelap yang tidak akan pernah digunakan.

Gunakan alat ML dan AI untuk mengurai data

Untuk membantu menemukan data gelap, machine learning (ML) dan kecerdasan buatan (AI) dapat membantu mengkategorikan data gelap dengan melakukan analisis pada data yang mungkin mengandung insight yang berharga. Selain itu, otomatisasi ML dapat membantu peraturan kepatuhan privasi data dengan secara otomatis menyunting informasi sensitif dari data yang disimpan.