Tentang kuki situs ini Situs kami memerlukan beberapa kuki agar berfungsi dengan baik (diwajibkan). Selain itu, kuki lain dapat digunakan dengan persetujuan Anda untuk menganalisis penggunaan situs, meningkatkan pengalaman pengguna, serta untuk keperluan periklanan. Untuk informasi lebih lanjut, silakan lihat opsi Anda. Dengan mengunjungi situs web kami, Anda menyetujui pemrosesan informasi kami sebagaimana dijelaskan dalampernyataan privasi IBM. Untuk memberikan navigasi yang lancar, preferensi kuki Anda akan dibagikan di seluruh domain situs web IBM yang tercantum di sini.
Beralih dari kualitas data reaktif ke proaktif
Autodesk + IBM Databand
Pendekatan reaktif untuk menyelesaikan insiden data
Steve Gotlieb adalah Manajer Senior untuk Rekayasa Data dan Visualisasi di Autodesk, sebuah perusahaan perangkat lunak multinasional yang menyediakan produk piranti lunak di berbagai industri. Dia mengelola tim rekayasa data dan platform global di seluruh Amerika Utara dan Singapura. Timnya berfokus pada pembuatan komponen yang dapat digunakan kembali yang berkontribusi pada platform data yang kuat dan andal yang mendukung solusi berbasis data.
Di bawah kepemimpinannya, Steve mulai memperjuangkan kualitas data sebagai komponen platform inti untuk mendukung konsep data mesh yang mempromosikan pendekatan data yang Anda miliki sendiri dan memungkinkan integrasi dan pemanfaatan data yang lancar di seluruh organisasi.
Satu tantangan signifikan yang berulang kali dihadapi tim Steve dan tim teknik data lainnya di Autodesk: mereka sering kali menjadi orang terakhir yang mengetahui ketika masalah data terjadi. Tim Steve terpaksa mengambil pendekatan reaktif untuk menyelesaikan masalah, baik itu data yang hilang, data yang terlambat atau basi, atau data yang salah dengan nilai nol.
Pada saat tim mengetahui masalah data, itu mungkin sudah ada selama sebulan atau lebih, menghabiskan waktu dan sumber daya perusahaan yang berharga.
"Kami sebelumnya memiliki sistem manajemen kualitas data (DQM) yang dibuat khusus, tetapi itu adalah solusi yang pasif dan tidak dapat diperluas," kata Steve. "Sistem DQM mengandalkan kueri yang sedang berjalan untuk memantau jumlah run, tetapi tidak secara proaktif mendeteksi masalah kualitas data. Pemberitahuan tentang masalah data tidak konsisten dan tertunda, sering kali tiba melalui email atau pesan Slack tanpa kepemilikan yang jelas."
Steve dan timnya mulai mengevaluasi solusi observabilitas data, menyadari perlunya pendekatan yang lebih proaktif. Mereka mengeksplorasi berbagai opsi, termasuk Monte Carlo Data dan Datafold, tetapi perangkat lunak observabilitas IBM Databand menonjol. Budaya inovasi Autodesk mendorongnya untuk mengadakan sprint inovasi, menyatukan tim lintas fungsi untuk mengeksplorasi dan menampilkan solusi potensial. Preeti Taneja, Principal Data Engineer di Autodesk, memainkan peran penting dalam evaluasi ini. Timnya hanya memiliki waktu satu minggu untuk mendemonstrasikan bagaimana Databand dapat mengubah proses kualitas datanya.
Mereka mengevaluasi apakah Databand dapat mendeteksi perubahan dalam sistem sumber dan memberikan peringatan real-time jika terjadi kegagalan alur kerja. Hasilnya sangat mengesankan. Integrasi Databand yang lancar dengan tumpukan data modern Autodesk, misalnya, Apache Airflow, dbt, Spark, dan Snowflake, serta kemampuan untuk memberikan peringatan instan meninggalkan kesan yang kuat.
“Kemudahan integrasi Databand dengan tumpukan data modern kami memungkinkan kami untuk melihat nilai dengan segera,” kata Preeti. "Ketika kami mulai mendapatkan peringatan seketika, itu adalah momen yang sangat menakjubkan dari kemampuan kualitas data proaktif Databand."
Setelah penilaian internal, Databand muncul sebagai pemenang yang jelas, memimpin tim untuk bergerak maju dengan implementasinya.
Tim Steve menggunakan Databand setiap hari untuk memantau insiden data di berbagai contoh penggunaan, termasuk:
- Pemantauan pemrosesan batch: Databand digunakan secara luas dalam memantau pemrosesan batch produksi. Lebih dari 1.000 DAG dipantau secara aktif oleh Databand.
- Pengujian inline: Tim menggunakan kemampuan pengujian inline dari Databand untuk mendeteksi masalah kualitas data secara real time, yang sangat penting untuk menjaga integritas data.
- Dukungan produk data: Databand mendukung pipeline yang memberikan insight dan pesan dalam produk untuk pelanggan Autodesk.
- Pemantauan pipeline machine learning (ML) dan AI: Databand juga memantau pipeline yang mendukung tim ML dan AI, membantu memastikan bahwa kualitas data dipertahankan di semua tahap pemrosesan data.
Meningkatkan kualitas data dan efisiensi operasional
Implementasi Databand membawa perbaikan langsung dan signifikan pada manajemen kualitas data Autodesk:
- Pengurangan waktu deteksi: Databand mengurangi waktu untuk mendeteksi masalah kualitas data dari hitungan hari menjadi hitungan menit. Deteksi langsung ini memungkinkan tim untuk mengatasi masalah sebelum masalah tersebut dapat menyebabkan gangguan besar.
- Pengurangan waktu rata-rata untuk resolusi (MTTR): Dengan Databand, waktu rata-rata untuk menyelesaikan masalah data turun dari beberapa minggu menjadi beberapa hari. Mendeteksi insiden, seperti data yang datang terlambat, perubahan skema, dan kegagalan pipeline, membantu menjaga kepercayaan dan efisiensi dalam organisasi
- Analisis akar masalah: Databand menyediakan analisis akar masalah tingkat lanjut, yang memungkinkan tim untuk dengan cepat mengidentifikasi dan memperbaiki masalah pada sumbernya
- Integrasi yang mulus: Solusi terintegrasi lancar dengan platform Autodesk yang ada tanpa perlu menulis ulang pipeline inti Spark, Airflow, dan dbt. Integrasi ini mencakup pemantauan pemrosesan batch, jalur internal, dan data yang tidak aktif di lingkungan Snowflake
- Penghematan biaya: Autodesk melihat adanya penurunan biaya konsumsi cloud dengan mendeteksi masalah lebih awal dan menghindari pengulangan.
Autodesk telah melihat hasil nyata dalam meningkatkan kualitas data dan efisiensi operasional. Pelacakan permintaan fitur yang transparan semakin memperkuat kemitraan, memungkinkan peningkatan dan inovasi yang berkelanjutan.
Desainer, insinyur, pembangun, dan kreator dunia mempercayai Autodesk (tautan berada di luar ibm.com) untuk membantu mereka merancang dan membuat apa pun—mulai dari bangunan tempat kita tinggal dan bekerja, hingga mobil yang kita kendarai dan jembatan yang kita lewati. Bahkan produk yang kami gunakan dan andalkan setiap hari dan film serta game yang menginspirasi kami ada berkat Autodesk. Platform Design and Make Autodesk membuka kekuatan data untuk mempercepat insight dan mengotomatisasi proses, memberdayakan klien kami dengan teknologi untuk menciptakan dunia di sekitar kita dan memberikan hasil yang lebih baik untuk bisnis mereka dan planet ini. Untuk informasi lebih lanjut, kunjungi autodesk.com (tautan berada di luar ibm.com).
Hukum
© Hak Cipta IBM Corporation 2024. IBM, logo IBM, dan Databand adalah merek dagang atau merek dagang terdaftar dari IBM Corp, di A.S. dan/atau negara lain.
Ini adalah dokumen terbaru pada tanggal awal publikasi dan dapat diubah oleh IBM kapan saja. Tidak semua penawaran tersedia di setiap negara tempat IBM beroperasi.
Contoh klien disajikan sebagai ilustrasi tentang cara klien tersebut menggunakan produk IBM dan hasil yang mungkin telah mereka capai. Kinerja aktual, biaya, penghematan atau hasil lainnya di lingkungan operasi lain mungkin berbeda.
