Leistungsfähiges Spark: Best Practices für die Skalierung und Optimierung von Apache Spark
Apache Spark
Überwachung und Leistungsmanagement von Apache Spark

Apache Spark ist das größte Open-Source-Datenverarbeitungsprojekt und bietet ein schnelles Datenverarbeitungstool für Big Data und tiefgreifende Analysen. Die Apache Spark-Überwachung von Instana bietet die Möglichkeit, über AWS EMR bereitgestelltes Spark zu überwachen, kann aber auch Spark-Standalone-Cluster-Manager überwachen. Bei der Überwachung der Spark-Leistung dreht sich alles um die Überwachung der Spark-Treiberinstanz. Der Spark-Überwachungsensor von Instana unterstützt beide Treiberbereitstellungsmethoden.

Starten Sie jetzt Ihre KOSTENLOSE TESTVERSION!

14 Tage, keine Kreditkarte erforderlich, Vollversion

Leistungs- und Statusüberwachung von Spark

Abhängig vom Typ der bereitgestellten Anwendung (EMR, Standalone) werden unterschiedliche Daten erfasst und zur Überwachung verwendet.

Leistungs- und Konfigurationsüberwachung von Spark

Installieren Sie für auf AWS EMR laufende Spark-Instanzen den Instana-Agenten auf den Amazon EC2-Instanzen innerhalb des EMR-Clusters. Wenn Sie eine automatisierte Bereitstellung des Spark-Überwachungssensors wünschen, muss der Instana-Agent auf allen Knoten in dem EMR-Cluster platziert werden.

Die Spark-Überwachung von Instana umfasst ein automatisch erstelltes Übersichts-Dashboard, das sich auf Anwendungs-KPIs konzentriert — darunter Reaktionszeit und Auslastung. Das Dashboard enthält auch wichtige Infrastrukturkonfigurations- und Leistungsmetriken sowie spezifische Spark-Verarbeitungsdatenmetriken. Das Dashboard ermöglicht es DevOps und IT-Ops, alle relevanten Spark-Daten auf einem einzigen Bildschirm zu sehen und so unkompliziert Aufschluss über den Status ihrer Spark-Instanzen zu erhalten.

Die Überwachung des Allgemeinzustands und der Leistung von Apache Spark-Instanzen erfordert sowohl ein Verständnis von Spark selbst als auch die Fähigkeit, die Interaktionen und Abhängigkeiten zwischen geclusterten Spark-Instanzen sowie die Interaktionen mit anderen Microservices (sowohl vorgelagert als auch nachgeschaltet) zu erkennen. Der Spark-Überwachungssensor von Instana identifiziert und erfasst diese relevanten Metriken automatisch.

Spark-Überwachungsdaten

 

Stapelanwendungen

  • Jobs
  • Phasen
  • Längste abgeschlossene Schritte
  • Steuerprogramme

    Streaming-Anwendungen

    • Stapelverarbeitung
    • Planungsverzögerung
    • Gesamtverzögerung
    • Verarbeitungszeit
    • Ausgabeoperationen
    • Eingabedatensätze
    • Empfänger
    • Steuerprogramme

      Konfiguration

      • Host
      • Port
      • Rest-URI
      • Version
      • Status

        Metriken

        • Aktive Worker
        • Inaktive Worker
        • Stillgelegte Worker
        • Worker mit unbekanntem Status
        • Verwendeter Speicher
        • Gesamtspeicher
        • Genutzte Kerne
        • Kerne gesamt
        • Daten und Metriken pro Worker
        • Aktuellste Apps
        • Neueste Treiber
          Installation des Spark-Überwachungssensors: Erste Schritte

          Sind Sie bereit, mit der Überwachung von Spark zu beginnen? Registrieren Sie sich zunächst für eine kostenlose Instana-Testversion. Wenn Sie ein Konto haben, finden Sie in der Spark-Management-Dokumentation Informationen zur Konfiguration verschiedener Spark-Treiber und Bereitstellungstypen.

          Kostenlosen Test starten Dokumentation zur Verwaltung von Spark