Apa yang dimaksud dengan Observabilitas Data?

Observabilitas data mengacu pada praktik pemantauan, pengelolaan, dan pemeliharaan data dengan cara yang memastikan kualitas, ketersediaan, dan keandalannya di berbagai proses, sistem, dan saluran pipa dalam suatu organisasi.

Pengamatan data adalah tentang benar-benar memahami kesehatan data Anda dan keadaannya di seluruh ekosistem data Anda. Ini mencakup berbagai kegiatan yang melampaui pemantauan tradisional, yang hanya menggambarkan masalah. Observabilitas data dapat membantu mengidentifikasi, memecahkan masalah, dan menyelesaikan masalah data secara hampir real-time.

Memanfaatkan alat bantu pengamatan data sangat penting untuk mengatasi masalah data yang buruk, yang merupakan inti dari keandalan data. Alat-alat ini memungkinkan pemantauan otomatis, peringatan triase, pelacakan, perbandingan, analisis akar masalah, pencatatan, silsilah data, dan pelacakan perjanjian tingkat layanan (SLA), yang semuanya bekerja sama untuk membantu para praktisi memahami kualitas data secara menyeluruh-termasuk keandalan data.

Menerapkan solusi pengamatan data sangat penting bagi tim data modern, di mana data digunakan untuk mendapatkan wawasan, mengembangkan model pembelajaran mesin, dan mendorong inovasi. Hal ini memastikan bahwa data tetap menjadi aset yang berharga dan bukannya menjadi kewajiban.

Pengamatan data perlu diinfuskan secara konsisten sepanjang siklus hidup data end-to-end. Dengan begitu, semua aktivitas manajemen data yang terlibat terstandardisasi dan tersentralisasi di seluruh tim untuk mendapatkan gambaran yang jelas dan tidak terganggu tentang masalah dan dampak di seluruh organisasi.

Pengamatan data adalah evolusi alami dari gerakan kualitas data, yang membuat praktik operasi data (DataOps) menjadi mungkin.

Penyimpanan data untuk AI

Temukan kekuatan mengintegrasikan strategi data lakehouse ke dalam arsitektur data Anda, termasuk peningkatan untuk meningkatkan skala AI dan peluang pengoptimalan biaya.

Mengapa pengamatan data penting

Jelas dan sederhana, sebagian besar organisasi percaya bahwa data mereka tidak dapat diandalkan:

82% mengatakan masalah kualitas data adalah penghalang untuk proyek integrasi data¹
80% eksekutif tidak mempercayai data^mereka2

Dampak dari data buruk ini tidak bisa diremehkan. Pada Mei 2022, Unity Software menemukan bahwa mereka telah menelan data buruk dari pelanggan besar, yang menyebabkan penurunan 30% dalam saham perusahaan³ dan pada akhirnya merugikan bisnis sebesar USD 110 juta dalam pendapatan yang hilang⁴.

Secara tradisional, sulit untuk mengidentifikasi data buruk sampai terlambat. Tidak seperti ketika sebuah aplikasi down dan berdampak pada ribuan pengguna dengan segera, bisnis dapat beroperasi dengan data yang buruk tanpa disadari selama beberapa waktu. Sebagai contoh, tim penjualan akan langsung tahu jika dasbor Salesforce tidak dimuat, namun tidak ada yang tahu berapa lama waktu yang dibutuhkan untuk mengetahui bahwa dasbor menampilkan data yang salah.

Pengamatan data adalah pertahanan terbaik terhadap data buruk yang masuk. Sistem ini memonitor jalur data untuk memastikan pengiriman data yang lengkap, akurat, dan tepat waktu sehingga tim data dapat mencegah waktu henti data, memenuhi SLA data, dan menjaga kepercayaan bisnis terhadap data yang dilihatnya.

Evolusi pengamatan data

Sistem data modern menyediakan berbagai macam fungsionalitas, yang memungkinkan pengguna untuk menyimpan dan menanyakan data mereka dengan berbagai cara. Tentu saja semakin banyak fungsionalitas yang Anda tambahkan, semakin rumit untuk memastikan bahwa sistem Anda bekerja dengan benar. Komplikasi ini meliputi:

Lebih banyak sumber data eksternal

Di masa lalu, infrastruktur data dibangun untuk menangani data dalam jumlah kecil-biasanya data operasional dari beberapa sumber data internal-dan data tersebut diperkirakan tidak akan banyak berubah. Kini, banyak produk data yang mengandalkan data dari sumber internal dan eksternal, dan volume serta kecepatan pengumpulan data ini dapat menyebabkan penyimpangan yang tidak terduga, perubahan skema, transformasi, dan penundaan.

Transformasi yang lebih rumit

Semakin banyak data yang dicerna dari sumber data eksternal berarti Anda perlu mengubah, menyusun, dan menggabungkan semua data tersebut dalam semua format lain agar semuanya dapat digunakan. Lebih buruk lagi, jika format-format tersebut berubah sama sekali, hal ini menyebabkan efek domino kegagalan di hilir karena logika yang dikodekan secara ketat gagal beradaptasi dengan skema yang baru.

Terlalu banyak fokus pada rekayasa analitik

Jalur pipa konsumsi yang kompleks telah menciptakan pasar untuk alat untuk menyederhanakan proses ujung ke ujung ini, sebagian besar mengotomatiskan proses konsumsi dan ekstrak, transformasi, muat (ETL)/ekstrak, muat, transformasi (ELT). Menggabungkannya bersama-sama, Anda mendapatkan platform data yang dijuluki industri analitik sebagai “tumpukan data modern,” atau MDS. Tujuan dari MDS adalah untuk mengurangi jumlah waktu yang diperlukan agar data dapat digunakan oleh pengguna akhir (biasanya analis) sehingga mereka dapat mulai memanfaatkan data tersebut dengan lebih cepat. Namun, semakin banyak otomatisasi yang Anda miliki, semakin sedikit kontrol yang Anda miliki atas bagaimana data dikirimkan. Organisasi-organisasi ini perlu membangun jalur data khusus sehingga mereka dapat lebih menjamin data terkirim seperti yang diharapkan.

Pengamatan data dan pergerakan DataOps

Operasi data (DataOps) adalah alur kerja yang memungkinkan jalur pengiriman yang gesit dan lingkaran umpan balik sehingga bisnis dapat membuat dan memelihara produk mereka dengan lebih efisien. DataOps memungkinkan perusahaan untuk menggunakan alat dan strategi yang sama di seluruh fase proyek analitik mereka, mulai dari pembuatan prototipe hingga penerapan produk.

Siklus DataOps menguraikan aktivitas mendasar yang diperlukan untuk meningkatkan manajemen data dalam alur kerja DataOps. Siklus ini terdiri dari tiga tahap yang berbeda: deteksi, kesadaran dan iterasi.

Deteksi

Siklus ini harus dimulai dengan deteksi karena dasar dari gerakan DataOps dibangun di atas inisiatif kualitas data.

Tahap pertama siklus DataOps ini berfokus pada validasi. Ini termasuk pemeriksaan kualitas data yang sama yang telah digunakan sejak awal mula data warehouse. Mereka melihat skema kolom dan validasi tingkat baris. Intinya, Anda memastikan semua kumpulan data mematuhi aturan bisnis di sistem data Anda.

Kerangka kualitas data yang hidup dalam tahap deteksi ini penting tetapi reaksioner pada dasarnya. Ini memberi Anda kemampuan untuk mengetahui apakah data yang sudah tersimpan di data lake atau gudang data Anda (dan kemungkinan sudah digunakan) sudah dalam bentuk yang Anda harapkan.

Penting juga untuk dicatat bahwa Anda memvalidasi kumpulan data dan mengikuti aturan bisnis yang Anda ketahui. Jika Anda tidak tahu penyebab masalah, Anda tidak dapat menetapkan aturan bisnis baru untuk diikuti oleh teknisi Anda. Kesadaran ini mendorong permintaan akan pendekatan pengamatan data berkelanjutan yang terkait langsung dengan semua tahap siklus hidup data Anda, dimulai dari sumber data Anda.

Kesadaran

Kesadaran adalah tahap yang berfokus pada visibilitas dari fase DataOps. Di sinilah percakapan seputar tata kelola data muncul dan pendekatan yang mengutamakan metadata diperkenalkan. Memusatkan dan menstandarkan metadata pipeline dan dataset di seluruh ekosistem data Anda memberi tim visibilitas ke dalam masalah di seluruh organisasi.

Sentralisasi metadata sangat penting untuk memberikan kesadaran kepada organisasi tentang kesehatan data secara menyeluruh. Melakukan hal ini memungkinkan Anda untuk bergerak menuju pendekatan yang lebih proaktif untuk memecahkan masalah data. Jika ada data buruk yang masuk ke "domain" Anda, Anda bisa melacak kesalahan ke titik tertentu di hulu dalam sistem data Anda. Sebagai contoh, Tim Rekayasa Data A sekarang dapat melanjutkan untuk melihat pipeline Tim Rekayasa Data B dan dapat memahami apa yang terjadi dan berkolaborasi dengan mereka untuk memperbaiki masalah tersebut.

Sebaliknya juga berlaku. Tim Rekayasa Data B dapat mendeteksi masalah dan melacak dampaknya terhadap ketergantungan hilir. Artinya, Tim Rekayasa Data A akan mengetahui bahwa suatu masalah akan terjadi dan dapat mengambil tindakan apa pun yang diperlukan untuk mengatasinya.

Iterasi

Di sini, tim fokus pada data-as-kode. Tahap siklus ini berfokus pada proses. Tim memastikan bahwa mereka memiliki standar yang dapat diulang dan berkelanjutan yang akan diterapkan pada semua pengembangan data untuk memastikan bahwa mereka mendapatkan data yang dapat dipercaya yang sama di akhir jalur tersebut.

Peningkatan bertahap dari kesehatan platform data secara keseluruhan sekarang dimungkinkan oleh deteksi masalah, kesadaran akan akar penyebab hulu, dan proses yang efisien untuk pengulangan.

Manfaat observabilitas data

Strategi observasi data yang dijalankan dengan baik dapat memberikan berbagai manfaat yang berkontribusi pada kualitas data, pengambilan keputusan, keandalan, dan kinerja organisasi secara keseluruhan yang lebih baik. Ini termasuk:

Kualitas data lebih tinggi

Pengamatan data memungkinkan tim untuk mendeteksi masalah seperti nilai yang hilang, catatan duplikat, atau format yang tidak konsisten sejak dini sebelum mempengaruhi dependensi hilir. Dengan data yang berkualitas lebih tinggi, organisasi dapat membuat keputusan yang lebih baik dan berbasis data yang mengarah pada peningkatan operasi, kepuasan pelanggan, dan kinerja secara keseluruhan.

Pemecahan masalah lebih cepat

Observabilitas data memungkinkan tim dengan cepat mengidentifikasi kesalahan atau penyimpangan dalam data melalui deteksi anomali, pemantauan dan peringatan secara real-time. Pemecahan masalah dan penyelesaian masalah yang lebih cepat membantu meminimalkan biaya dan tingkat keparahan waktu henti.

Kolaborasi yang lebih baik

Dengan menggunakan dasbor bersama yang ditawarkan oleh platform pengamatan data, berbagai pemangku kepentingan dapat memperoleh visibilitas ke dalam status set data penting, yang dapat mendorong kolaborasi yang lebih baik di seluruh tim.

Peningkatan efisiensi

Alat bantu pengamatan data membantu menunjukkan dengan tepat kemacetan dan masalah kinerja, sehingga memungkinkan para insinyur mengoptimalkan sistem mereka untuk penggunaan sumber daya yang lebih baik dan waktu pemrosesan yang lebih cepat. Selain itu, otomatisasi mengurangi waktu dan upaya yang diperlukan untuk menjaga kesehatan data Anda, sehingga memungkinkan para insinyur data, analis, dan ilmuwan data untuk memfokuskan upaya mereka dalam memperoleh nilai dari data.

Peningkatan kepatuhan

Observabilitas data dapat membantu organisasi dalam industri yang sangat diatur seperti keuangan, kesehatan, dan telekomunikasi untuk memastikan bahwa data mereka memenuhi standar yang diperlukan untuk akurasi, konsistensi, dan keamanan. Ini mengurangi risiko ketidakpatuhan dan hukuman terkait.

Pengalaman pelanggan yang ditingkatkan

Data berkualitas tinggi sangat penting untuk memahami kebutuhan, preferensi, dan perilaku pelanggan, yang pada gilirannya, memungkinkan organisasi untuk memberikan pengalaman yang lebih personal dan relevan. Pengamatan data dapat membantu organisasi mempertahankan data pelanggan yang akurat dan terkini, yang mengarah pada peningkatan kepuasan dan loyalitas pelanggan.

Peningkatan pendapatan

Dengan meningkatkan kualitas data melalui kemampuan pengamatan, organisasi dapat membuka wawasan baru, mengidentifikasi tren, dan menemukan potensi peluang peningkatan pendapatan. Memanfaatkan aset data mereka sebaik-baiknya, organisasi dapat meningkatkan pendapatan dan pertumbuhan mereka.

5 pilar pengamatan data

Bersama-sama, lima pilar observabilitas data memberikan wawasan berharga tentang kualitas dan keandalan data Anda.

1. Kesegaran

Kesegaran menjelaskan seberapa mutakhir data Anda dan seberapa sering data diperbarui. Kebuntuan data terjadi ketika ada celah penting dalam waktu ketika data belum diperbarui. Sering kali, ketika jalur pipa data rusak, hal itu disebabkan oleh masalah kesegaran.

2. Distribusi

Indikator kesehatan tingkat bidang data Anda, distribusi mengacu pada apakah data berada dalam rentang yang diterima atau tidak. Penyimpangan dari distribusi yang diharapkan dapat mengindikasikan masalah kualitas data, error, atau perubahan pada sumber data pokok.

3. Volume

Volume mengacu pada jumlah data yang dihasilkan, dicerna, ditransformasikan, dan dipindahkan melalui berbagai proses dan jalur pipa. Ini juga mengacu pada kelengkapan tabel data Anda. Volume adalah indikator utama untuk mengetahui apakah asupan data Anda memenuhi ambang batas yang diharapkan atau tidak.

4. Skema

Skema menjelaskan organisasi data Anda. Perubahan skema sering mengakibatkan data rusak. Observabilitas data membantu memastikan bahwa data Anda diatur secara konsisten, kompatibel di berbagai sistem, dan mempertahankan integritasnya sepanjang siklus hidupnya.

5. Silsilah

Tujuan garis keturunan adalah untuk menjawab pertanyaan, “Di mana?” ketika data rusak. Ini melihat data dari sumbernya ke lokasi akhir dan mencatat setiap perubahan, termasuk apa yang berubah, mengapa berubah, dan bagaimana perubahan itu terjadi di sepanjang jalan. Garis keturunan paling sering diwakili secara visual.

Keandalan data vs. kualitas data

Pengamatan data mendukung kualitas data, tetapi keduanya adalah aspek yang berbeda dalam mengelola data.

Meskipun praktik observasi data dapat menunjukkan masalah kualitas pada kumpulan data, praktik tersebut tidak dapat menjamin kualitas data yang baik. Hal ini memerlukan upaya untuk memperbaiki masalah data dan mencegahnya terjadi. Di sisi lain, suatu organisasi dapat memiliki kualitas data yang kuat meskipun organisasi tersebut tidak menerapkan inisiatif observasi data.

Pemantauan kualitas data mengukur apakah kondisi kumpulan data cukup baik untuk penggunaan yang dimaksudkan dalam aplikasi operasional dan analisis. Untuk menentukan hal tersebut, data diperiksa berdasarkan berbagai dimensi kualitas, seperti akurasi, kelengkapan, konsistensi, validitas, keandalan, dan ketepatan waktu.

Pengamatan data vs. tata kelola data

Pengamatan data dan tata kelola data adalah proses pelengkap yang saling mendukung.

Tata kelola data bertujuan untuk memastikan bahwa data organisasi tersedia, dapat digunakan, konsisten, dan aman, serta digunakan sesuai dengan standar dan kebijakan internal. Program tata kelola sering menggabungkan atau terkait erat dengan upaya peningkatan kualitas data.

Program tata kelola data yang kuat membantu menghilangkan silo data, masalah integrasi data, dan kualitas data yang buruk yang dapat membatasi nilai dari praktik pengamatan data.

Pengamatan data dapat membantu program tata kelola dengan memantau perubahan kualitas data, ketersediaan dan garis keturunan.

Hirarki pengamatan data

Semua pengamatan data tidak dibuat sama. Tingkat konteks yang dapat Anda capai tergantung pada metadata apa yang dapat Anda kumpulkan dan berikan visibilitas. Ini dikenal sebagai hierarki observabilitas data. Setiap level adalah dasar untuk yang berikutnya dan memungkinkan Anda untuk mencapai butiran pengamatan yang semakin halus.

Memantau kesehatan operasional, data saat istirahat dan bergerak

Mendapatkan visibilitas ke dalam kesehatan operasional dan dataset Anda merupakan fondasi yang baik untuk kerangka kerja pengamatan data apa pun.

Data tidak aktif

Memantau kesehatan dataset mengacu pada pemantauan dataset Anda secara keseluruhan. Anda mendapatkan informasi mengenai kondisi data Anda saat berada di lokasi yang tetap, yang disebut sebagai "data dalam keadaan diam".

Pemantauan dataset menjawab pertanyaan seperti:

Apakah dataset ini tiba tepat waktu?
Apakah dataset ini diperbarui sesering yang diperlukan?
Apakah volume data yang diharapkan tersedia dalam kumpulan data ini?

Data bergerak

Pemantauan operasional mengacu pada pemantauan keadaan saluran pipa Anda. Jenis pemantauan ini memberi Anda kesadaran akan keadaan data Anda saat data tersebut bertransformasi dan bergerak melalui saluran pipa Anda. Status data ini disebut sebagai “data in motion.”

Pemantauan saluran pipa menjawab pertanyaan seperti:

Bagaimana kinerja saluran pipa mempengaruhi kualitas kumpulan data?
Dalam kondisi apa lari dianggap berhasil?
Operasi apa yang mengubah dataset sebelum mencapai danau atau gudang?

Meskipun dataset dan pemantauan pipeline data biasanya dipisahkan menjadi dua aktivitas yang berbeda, namun sangat penting untuk tetap menggabungkan keduanya untuk mencapai dasar yang kuat dalam hal pengamatan. Kedua negara ini sangat saling berhubungan dan saling bergantung satu sama lain. Memisahkan kedua aktivitas ini ke dalam alat atau tim yang berbeda akan membuat lebih sulit untuk mendapatkan pandangan tingkat tinggi tentang kesehatan data Anda.

Pembuatan profil tingkat kolom

Profil tingkat kolom adalah kunci untuk hierarki ini. Setelah fondasi yang kuat telah diletakkan untuk itu, pembuatan profil tingkat kolom memberi Anda wawasan yang Anda butuhkan untuk membuat aturan bisnis baru untuk organisasi Anda dan menegakkan aturan yang sudah ada di tingkat kolom dan bukan hanya di tingkat baris.

Tingkat kesadaran ini memungkinkan Anda untuk meningkatkan kerangka kerja kualitas data Anda dengan cara yang sangat dapat ditindaklanjuti.

Ini memungkinkan Anda untuk menjawab pertanyaan seperti:

Berapa kisaran yang diharapkan untuk kolom?
Apa skema yang diharapkan dari kolom ini?
Seberapa unik kolom ini?

Validasi tingkat baris

Dari sini, Anda dapat naik ke tingkat pengamatan akhir: validasi tingkat baris. Ini melihat nilai data di setiap baris dan memvalidasi bahwa mereka akurat.

Jenis observabilitas ini melihat:

Apakah nilai data di setiap baris sesuai dengan bentuk yang diharapkan?
Apakah nilai data sama dengan panjang yang Anda harapkan?
Mengingat konteksnya, apakah ada cukup informasi di sini untuk berguna bagi pengguna akhir?

Ketika organisasi mendapatkan visi terowongan pada validasi tingkat baris, menjadi sulit untuk melihat hutan untuk pohon. Dengan membangun kerangka kerja observabilitas yang dimulai dengan pemantauan operasional dan dataset, Anda bisa mendapatkan konteks gambaran besar tentang kesehatan data Anda sambil tetap mengasah akar masalah dan dampak hilirnya.

Menerapkan kerangka pengamatan data

Di bawah ini adalah langkah-langkah utama yang biasanya terlibat dalam membangun jalur pengamatan yang sukses. Proses ini melibatkan integrasi berbagai alat dan teknologi, serta kolaborasi tim yang berbeda dalam sebuah organisasi.

Tentukan metrik utama: Mulailah dengan mengidentifikasi metrik penting yang perlu Anda lacak. Ini dapat mencakup metrik kualitas data, volume data, latensi, tingkat kesalahan, dan pemanfaatan sumber daya. Pilihan metrik akan bergantung pada kebutuhan bisnis spesifik Anda dan sifat pipeline data Anda.
Pilih alat yang sesuai: Selanjutnya, pilih alat yang Anda perlukan untuk pengumpulan, penyimpanan, analisis, dan peringatan data. Pastikan bahwa alat bantu yang Anda pilih, termasuk sumber terbuka, kompatibel dengan infrastruktur yang ada dan dapat menangani skala operasi Anda.
Menstandarkan perpustakaan: Letakkan infrastruktur yang memungkinkan tim untuk berbicara dengan bahasa yang sama dan berkomunikasi secara terbuka tentang berbagai masalah. Ini termasuk pustaka standar untuk API dan manajemen data (misalnya, kueri data warehouse, baca/tulis dari data lake, menarik data dari API, dll.) dan kualitas data.
Instrumentasi pipeline data Anda: Instrumentasi melibatkan pengintegrasian pustaka pengumpulan data atau agen ke dalam pipeline data Anda. Ini memungkinkan Anda mengumpulkan metrik yang ditentukan dari berbagai tahapan pipeline Anda. Tujuannya adalah untuk mencapai visibilitas yang komprehensif, jadi kuncinya adalah memastikan setiap tahap penting terinstrumentasi.
Siapkan solusi penyimpanan data: Metrik yang dikumpulkan perlu disimpan dalam basis data atau platform deret waktu yang dapat berkembang seiring dengan pertumbuhan data Anda. Pastikan solusi penyimpanan yang Anda pilih dapat menangani volume dan kecepatan data Anda.
Menerapkan alat analisis data: Alat-alat ini membantu mendapatkan wawasan dari metrik yang tersimpan. Untuk analisis yang lebih mendalam, pertimbangkan untuk menggunakan alat bantu yang menyediakan visualisasi intuitif dan mendukung kueri yang kompleks.
Mengonfigurasi peringatan dan pemberitahuan: Menetapkan sistem untuk mengirimkan peringatan otomatis ketika ambang batas yang telah ditetapkan terlampaui atau terjadi deteksi anomali. Hal ini akan membantu tim Anda merespons masalah dengan cepat, sehingga meminimalkan potensi downtime.
Integrasikan dengan platform manajemen insiden: Selain mendeteksi masalah, observabilitas juga melibatkan manajemen masalah yang efektif. Mengintegrasikan alur observasi Anda dengan sistem manajemen insiden dapat membantu menyederhanakan alur kerja respons Anda.
Tinjau dan perbarui saluran observasi Anda secara berkala: Seiring berkembangnya bisnis Anda, data dan persyaratan Anda juga akan berkembang. Meninjau dan memperbarui pipeline observabilitas Anda secara rutin akan memastikan bahwa pipeline tersebut akan terus memberikan wawasan dan performa yang diperlukan.

Membangun jalur pengamatan adalah proses pembelajaran dan penyempurnaan yang berkelanjutan. Sangat penting untuk memulai dari yang kecil, belajar dari pengalaman dan secara bertahap memperluas kemampuan pengamatan Anda.

Solusi terkait

IBM Databand

IBM Databand adalah perangkat lunak observabilitas untuk pipeline data dan gudang yang secara otomatis mengumpulkan metadata untuk membangun garis dasar historis, mendeteksi anomali, dan memberikan peringatan triase untuk memperbaiki masalah kualitas data.

Jelajahi Databand

IBM DataStage

Mendukung pola ETL dan ELT, IBM DataStage menghadirkan integrasi data yang fleksibel dan hampir real-time, baik on premises maupun di cloud.

Jelajahi DataStage

Katalog Pengetahuan IBM

Katalog data cerdas untuk era AI, Katalog Pengetahuan IBM memungkinkan Anda mengakses, mengkurasi, mengategorikan, dan membagikan data, aset pengetahuan, dan hubungannya, di mana pun mereka berada.