Apache Kafka è una popolare piattaforma open source per lo streaming dei dati che fornisce pipeline di dati ad alta velocità di elaborazione. Di conseguenza, Instana ha incluso il monitoraggio completo di Kafka nella sua soluzione di monitoraggio delle infrastrutture e delle applicazioni. Instana rileva tutte le istanze Kafka presenti nell'ambiente, individua le dipendenze e le interazioni tra il cluster e i relativi server e inizia automaticamente a monitorare lo stato e le prestazioni di ogni istanza.
Per aiutare i DevOps a ottimizzare i propri cluster Kafka, Instana applica l'automazione e l'intelligenza artificiale al monitoraggio delle prestazioni e dello stato di Kafka, includendo il rilevamento predittivo dei problemi e l'analisi dell'origine del problema basata sull'IA. Inoltre, riduce la necessità di possedere competenze specifiche relative a Kafka nell'ambito delle operazioni.
14 giorni, nessuna carta di credito, versione completa
Instana monitora gli indicatori chiave delle prestazioni (KPI, Key Performance Indicators) a livello di singolo componente e applicazione per ciascuna istanza. I KPI di Kafka vengono utilizzati per monitorare in tempo reale lo stato di ogni istanza e cluster. I KPI del servizio vengono utilizzati per acquisire una comprensione delle prestazioni di Kafka all'interno dell'ambiente complessivo.
Instana AI utilizza analisi statistiche avanzate e una serie di regole specifiche della base di conoscenza, e applica l'apprendimento automatico per determinare lo stato di integrità di ogni istanza e cluster in tempo reale.
Il sensore Apache Kafka di Instana raccoglie tutte le metriche critiche per determinare lo stato di ogni istanza di Kafka e le prestazioni di ogni pipeline di dati sul cluster. Il tracciamento dei dati di configurazione di Kafka consente a Instana di monitorare le modifiche alle istanze Kafka e di correlarle a eventuali problemi legati alle prestazioni complessive.
Le prestazioni e la configurazione di Kafka sono riepilogate in un unico dashboard che riunisce tutte le informazioni relative a configurazione, infrastruttura, livelli di servizio e transazioni. Il dashboard consente a IT Ops e DevOps di visualizzare tutti i dati rilevanti di Kafka in un unico luogo per facilitare la risoluzione dei problemi e ottimizzare le prestazioni.
Il monitoraggio delle prestazioni di Kafka è incentrato sulle metriche relative alle sue interazioni con le pipeline di dati e le applicazioni dipendenti situate all'interno del cluster Kafka o legate ad esso. Instana identifica e raccoglie automaticamente tutte le metriche pertinenti. Di seguito sono riportate alcune schermate di esempio di un dashboard Kafka di Instana:
Il monitoraggio di Kafka di Instana include tre tipi di dati: configurazione tracciata, metriche delle prestazioni e firme di integrità:
Configurazione tracciata
- Versione
Metriche delle prestazioni
- Traffico dei broker
- Latenza delle richieste rispetto alla velocità di trasmissione
- Errori dei broker
- Metriche di stato dei broker
- Tempo medio di inattività
- Partizioni
Eliminazione dei log
Firme di integrità
- Numero di controller attivi
- Restringimenti isr, espansioni isr
- Elezioni leader
- Elezioni leader non pulite
- Processore di rete inattivo
- Partizioni offline
- Gestore delle richieste inattivo
Partizioni sottoreplicate
La natura open source di Apache Kafka consente di adottare diverse soluzioni per il suo funzionamento in ambienti cloud e on-premises. Instana supporta le più comuni strategie di distribuzione, tra cui
- Installazione su hardware virtuale o fisico dedicato (Windows, Linux)
- Installazione in ambienti Kubernetes on-premises o gestiti
- Installazione in ambienti OpenShift on-premises o gestiti
- Installazione in ambienti Pivotal Cloud Foundry on-premises o gestiti
- Servizi hosted Kafka Amazon MSK (Amazon Managed Streaming for Apache Kafka)
Inoltre, Instana supporta diverse distribuzioni di Apache Kafka, tra cui
- Vanilla Apache Kafka
- Confluent Kafka
- Cloudera kafka
- Amazon MSK