High Performance Spark: Praktik Terbaik untuk Menskalakan dan Mengoptimalkan Apache Spark
Apache Spark
Pemantauan dan Manajemen Kinerja Apache Spark

Apache Spark adalah proyek pemrosesan data open source terbesar, menyediakan alat pemrosesan data yang cepat untuk data besar dan analitik mendalam. Pemantauan Apache Spark Instana mencakup kemampuan untuk memantau Spark yang diterapkan melalui AWS EMR, tetapi juga dapat memantau Spark Standalone Cluster Manager. Pemantauan kinerja Spark berkisar pada pemantauan instance Spark Driver. Sensor Pemantauan Spark Instana mendukung kedua metode penyebaran Driver.

Mulai UJI COBA GRATIS Anda hari ini!

14 hari, tanpa kartu kredit, versi lengkap

Pemantauan Kinerja dan Kondisi Spark

Bergantung pada jenis aplikasi yang telah digunakan (EMR, Standalone), data yang berbeda dikumpulkan dan digunakan untuk pemantauan.

Pemantauan Kinerja dan Konfigurasi Spark

Untuk instance Spark yang berjalan di AWS EMR, instal agen Instana pada instance Amazon EC2 di dalam klaster EMR. Jika Anda menginginkan penyebaran otomatis sensor pemantauan Spark, agen Instana harus ditempatkan di semua node dalam cluster EMR.

Pemantauan Spark Instana mencakup dasbor ringkasan yang dibuat secara otomatis yang berpusat di sekitar KPI aplikasi – termasuk waktu respons dan beban. Dasbor ini juga mencakup konfigurasi infrastruktur utama dan metrik performa, serta metrik data pemrosesan Spark yang spesifik. Dasbor memungkinkan DevOps dan Operasi TI untuk melihat semua data Spark yang relevan di satu layar, sehingga memudahkan untuk memahami status instans Spark mereka.

Memantau kesehatan dan kinerja instance Apache Spark membutuhkan pemahaman tentang Spark itu sendiri, serta kemampuan untuk melihat interaksi dan ketergantungan antara instance spark yang terklaster dan interaksi dengan layanan mikro lainnya (baik di hulu maupun di hilir). Sensor pemantauan Spark Instana secara otomatis mengidentifikasi dan mengumpulkan metrik-metrik yang relevan.

Data Pemantauan Spark

 

Aplikasi Batch

  • Pekerjaan
  • Tahapan
  • Langkah Terpanjang yang Diselesaikan
  • Eksekutor

    Aplikasi Streaming

    • Pentahapan
    • Penundaan Penjadwalan
    • Penundaan Total
    • Waktu Pemrosesan
    • Operasi Keluaran
    • Catatan Masukan
    • Penerima
    • Eksekutor

      Konfigurasi

      • Host
      • Port
      • URI Jeda
      • Versi
      • Status

        Metrik

        • Pekerja Aktif
        • Pekerja Tidak Aktif
        • Pekerja yang Dinonaktifkan
        • Pekerja dalam Status Tidak Diketahui
        • Memori yang digunakan
        • Total Memori
        • Core Bekas
        • Total Core
        • Data dan Metrik per Pekerja
        • Aplikasi Terbaru
        • Driver Terbaru
          Instalasi Sensor Pemantauan Spark: Memulai

          Siap untuk mulai memantau Spark? Mulailah dengan mendaftar untuk uji coba Instana gratis. Setelah Anda memiliki akun, buka Dokumentasi Manajemen Spark untuk mengetahui detail tentang cara mengonfigurasi berbagai jenis driver dan penerapan Spark.

          Mulai uji coba gratis Dokumentasi Manajemen Spark