O Apache Kafka é uma plataforma popular de fluxo de dados de software livre que fornece pipelines de dados de alto rendimento. Por isso, o Instana incluiu o monitoramento abrangente do Kafka em nossa solução de monitoramento de infraestrutura e aplicativos. O Instana descobre todas as instâncias do Kafka presentes no ambiente, compreende as dependências e interações entre o cluster e seus servidores e começa automaticamente a monitorar o funcionamento e o desempenho de cada instância.
Para ajudar o DevOps a otimizar seus clusters do Kafka, o Instana aplica automação e inteligência artificial ao desempenho e monitoramento do funcionamento do Kafka, incluindo detecção preditiva de problemas e análise de causa raiz assistida por IA. O Instana reduz sua necessidade de experiência explícita no Kafka dentro das operações.
Quatorze dias, sem cartão de crédito, versão integral
O Instana monitora os principais indicador de desempenho (KPIs) do Kafka no nível do componente individual e aplicativo para cada instância. Os KPIs do Kafka são usados para monitoramento do funcionamento em tempo real de cada instância e cluster. Os KPIs de serviço são usados para entender o desempenho do Kafka no ambiente geral.
O Instana AI usa análise estatística avançada, um conjunto de regras específicas da Base de Conhecimento e aprendizado de máquina aplicado para determinar o status de funcionamento em tempo real de cada instância e cluster.
O sensor do Apache Kafka do Instana reúne todas as métricas críticas para determinar o funcionamento de cada instância do Kafka e o desempenho de todos os pipelines de dados no cluster. O rastreio de dados de configuração do Kafka permite que o Instana monitore as alterações nas instâncias do Kafka e correlacione essas alterações a quaisquer problemas de desempenho gerais.
O desempenho e a configuração do Kafka são resumidos em um único painel, que combina todas as informações sobre instalação, infraestrutura, níveis de serviço e transações. O painel permite que as operações de TI e o DevOps vejam todos os dados relevantes do Kafka em um único local, para facilitar a solução de problemas e a otimização do desempenho.
O monitoramento de desempenho do Kafka se concentra em torno de métricas relevantes para suas interações com os pipelines de dados e aplicativos dependentes que vivem dentro e ao redor do cluster do Kafka. O Instana identifica e coleta automaticamente todas as métricas relevantes. Abaixo estão algumas capturas de tela de exemplo de um painel do Instana Kafka:
O monitoramento do Kafka do Instana inclui três tipos de dados: configuração rastreada, métricas de desempenho e assinaturas de funcionamento:
Configuração rastreada
- Versão
Métricas de desempenho
- Tráfego de brokers
- Latência de solicitação x rendimento
- Falhas dos brokers
- Métricas do estado dos brokers
- Tempo inativo médio
- Partições
Limpeza de logs
Assinaturas de funcionamento
- Contagem do controlador ativo
- isrShrinks, isrExpansions
- Eleições de líderes
- Eleições de líderes não limpos
- Processador de rede com baixa inatividade
- Partições off-line
- Manipulador de solicitações de baixa inatividade
Sob partições replicadas
A natureza de código aberto do Apache Kafka permite que haja várias soluções disponíveis para operá-lo tanto em ambientes na nuvem quanto locais. O Instana é compatível com as estratégias de implementação mais comuns, incluindo
- Instalação em hardware virtual ou físico dedicado (Windows, Linux)
- Instalação em ambientes do Kubernetes locais ou gerenciados
- Instalação em ambientes do OpenShift locais ou gerenciados
- Instalação em ambientes Pivotal Cloud Foundry locais ou gerenciados
- Amazon MSK (Amazon Managed Streaming for Apache Kafka) de serviços hospedados do Kafka
Além disso, o Instana é compatível múltiplas distribuições do Apache Kafka, incluindo
- Vanilla Apache Kafka
- Confluent Kafka
- Cloudera Kafka
- Amazon MSK