Apache Kafka ist eine beliebte Open-Source-Plattform für Datenstreaming mit Datenpipelines mit hohem Durchsatz. Deshalb hat Instana die umfassende Kafka-Überwachung in unsere Infrastruktur- und Anwendungsüberwachungslösung integriert. Instana erkennt alle Kafka-Instanzen in der Umgebung, versteht die Abhängigkeiten und Interaktionen zwischen dem Cluster und seinen Servern und beginnt automatisch mit der Überwachung des Allgemeinzustands und der Leistung jeder Instanz.
Um DevOps bei der Optimierung ihrer Kafka-Cluster zu unterstützen, wendet Instana Automatisierung und künstliche Intelligenz auf die Leistungs- und Gesundheitsüberwachung von Kafka an, einschließlich der vorausschauenden Problemerkennung und der KI-gestützten Ursachenanalyse. Instana reduziert Ihren Bedarf an explizitem Kafka-Fachwissen im Bereich der Operationen.
14 Tage, keine Kreditkarte erforderlich, Vollversion
Instana überwacht die Key Performance Indicators (KPIs) von Kafka auf Ebene der einzelnen Komponenten und Anwendungen für jede Instanz. Mithilfe der Kafka-KPIs erfolgt die Echtzeitüberwachung des Allgemeinzustands jeder Instanz und jedes Clusters. Die Service-KPIs werden eingesetzt, um die Leistung von Kafka innerhalb der Gesamtumgebung nachzuvollziehen.
Instana AI nutzt hochentwickelte statistische Analysen, eine Reihe spezifischer Knowledge Base-Regeln und angewandtes maschinelles Lernen, um den Echtzeit-Allgemeinzustand jeder Instanz und jedes Clusters zu bestimmen.
Der Apache Kafka-Sensor von Instana erfasst sämtliche kritischen Metriken, um den Allgemeinzustand jeder Kafka-Instanz sowie die Leistung aller Daten-Pipelines im Cluster zu bestimmen. Dank der Verfolgung von Kafka-Konfigurationsdaten kann Instana Änderungen an den Kafka-Instanzen überwachen und diese Änderungen mit Gesamtleistungsproblemen korrelieren.
Die Leistungs- und Konfigurationsinformationen von Kafka werden in einem einzigen Dashboard zusammengefasst, das alle Informationen über Einrichtung, Infrastruktur, Service-Level und Geschäftsvorgänge kombiniert. Über dieses Dashboard können IT und DevOps alle relevanten Kafka-Daten an einem einzigen Ort überblicken und so Probleme einfach beheben und die Leistung optimieren.
Das Performance Monitoring von Kafka konzentriert sich auf Metriken, die für die Interaktionen mit den Datenpipelines und abhängigen Anwendungen im und um den Kafka-Cluster relevant sind. Instana identifiziert und erfasst automatisch alle relevanten Metriken. Weiter unten werden einige Beispiel-Screenshots eines Kafka-Dashboards von Instana gezeigt:
Die Überwachung von Kafka durch Instana umfasst drei Datentypen: verfolgte Konfiguration, Leistungsmetriken und Zustandssignaturen:
Verfolgte Konfiguration
- Version
Leistungsmetriken
- Brokerdatenverkehr
- Latenzzeit der Anforderungen vs. Durchsatz
- Brokerstörungen
- Brokerstatusmetriken
- Durchschnittliche Leerlaufzeit
- Partitionen
Protokollleerung
Zustandssignaturen
- Anzahl aktiver Controller
- isrShrinks, isrExpansions
- Führungskräftewahlen
- Unsaubere Führungskräftewahlen
- Netzwerkprozessor mit geringem Leerlauf
- Offline-Partitionen
- Anforderungsverarbeitungsprogramm mit geringem Leerlauf
Unterreplizierte Partitionen
Dank der Open-Source-Natur von Apache Kafka gibt es zahlreiche Lösungen für den Betrieb von Apache Kafka in Cloud- und On-Premise-Situationen. Instana unterstützt die gängigsten Implementierungsstrategien, einschließlich
- Installation auf dedizierter virtueller oder physischer Hardware (Windows, Linux)
- Installation in lokalen oder verwalteten Kubernetes-Umgebungen
- Installation in lokalen oder verwalteten OpenShift-Umgebungen
- Installation in lokalen oder verwalteten Pivotal Cloud Foundry-Umgebungen
- Gehostete Kafka-Services Amazon MSK (Amazon Managed Streaming für Apache Kafka)
Darüber hinaus unterstützt Instana mehrere Vertriebe von Apache Kafka, einschließlich
- Vanilla Apache Kafka
- Confluent Kafka
- Cloudera Kafka
- Amazon MSK