Apache Spark adalah proyek pemrosesan data open source terbesar, menyediakan alat pemrosesan data yang cepat untuk data besar dan analitik mendalam. Pemantauan Apache Spark Instana mencakup kemampuan untuk memantau Spark yang diterapkan melalui AWS EMR, tetapi juga dapat memantau Spark Standalone Cluster Manager. Pemantauan kinerja Spark berkisar pada pemantauan instance Spark Driver. Sensor Pemantauan Spark Instana mendukung kedua metode penyebaran Driver.
14 hari, tanpa kartu kredit, versi lengkap
Bergantung pada jenis aplikasi yang telah digunakan (EMR, Standalone), data yang berbeda dikumpulkan dan digunakan untuk pemantauan.
Untuk instance Spark yang berjalan di AWS EMR, instal agen Instana pada instance Amazon EC2 di dalam klaster EMR. Jika Anda menginginkan penyebaran otomatis sensor pemantauan Spark, agen Instana harus ditempatkan di semua node dalam cluster EMR.
Pemantauan Spark Instana mencakup dasbor ringkasan yang dibuat secara otomatis yang berpusat di sekitar KPI aplikasi – termasuk waktu respons dan beban. Dasbor ini juga mencakup konfigurasi infrastruktur utama dan metrik performa, serta metrik data pemrosesan Spark yang spesifik. Dasbor memungkinkan DevOps dan Operasi TI untuk melihat semua data Spark yang relevan di satu layar, sehingga memudahkan untuk memahami status instans Spark mereka.
Memantau kesehatan dan kinerja instance Apache Spark membutuhkan pemahaman tentang Spark itu sendiri, serta kemampuan untuk melihat interaksi dan ketergantungan antara instance spark yang terklaster dan interaksi dengan layanan mikro lainnya (baik di hulu maupun di hilir). Sensor pemantauan Spark Instana secara otomatis mengidentifikasi dan mengumpulkan metrik-metrik yang relevan.
Aplikasi Batch
Aplikasi Streaming
Konfigurasi
Metrik