O Apache Spark é o maior projeto de processamento de dados de software livre, proporcionando uma ferramenta de processamento de dados rápida para big data e analítica profunda. O monitoramento do Apache Spark da Instana inclui a capacidade de monitorar o Spark implantado por meio do AWS EMR, mas também pode monitorar o gerenciador do cluster independente do Spark. O monitoramento do desempenho do Spark gira em torno do monitoramento da instância do driver do Spark. O sensor de monitoramento do Spark da Instana é compatível com ambos os métodos de implantação do driver.
Quatorze dias, sem cartão de crédito, versão integral
Dependendo do tipo de aplicativo que foi implantado (EMR, independente), outros dados são coletados e utilizados para monitoramento.
Para instâncias do Spark em execução no AWS EMR, instale o agente Instana nas instâncias do Amazon EC2 dentro do cluster EMR. Se você quiser a implantação automatizada do sensor de monitoramento do Spark, o agente Instana deverá ser colocado em todos os nós no cluster EMR.
O monitoramento do Spark da Instana contém um painel de resumo criado automaticamente que se concentra nos KPIs do aplicativo, incluindo tempo de resposta e carga. O painel também contém as principais métricas de desempenho e configuração da infraestrutura, bem como métricas específicas de dados de processamento do Spark. O painel permite que DevOps e IT Ops vejam todos os dados relevantes do Spark em uma tela, facilitando a compreensão do estado de suas instâncias do Spark.
O monitoramento da integridade e do desempenho das instâncias do Apache Spark exige o conhecimento sobre o próprio Spark, bem como a capacidade de ver as interações e dependências entre as instâncias do Spark em cluster e as interações com outros microsserviços (tanto no envio quanto no recebimento de dados). O sensor de monitoramento do Spark da Instana identifica e colhe automaticamente essas métricas relevantes.
Aplicações em lote
- Empregos
- Estágios
- Etapas concluídas mais longas
- Executores
Aplicativos de streaming
- Envio em lote
- Atraso no agendamento
- Atraso total
- Tempo de processamento
- Operações de saída
- Registros de Entrada
- Receptores
- Executores
Configuração
- Host
- Porta
- URI de repouso
- Versão
- Status
Métrica
- Trabalhadores ativos
- Trabalhadores inativos
- Trabalhadores descomissionados
- Trabalhadores em estado desconhecido
- Memória utilizada
- Memória total
- Núcleos utilizados
- Total de núcleos
- Dados e métricas por trabalhador
- Aplicativos mais recentes
- Drivers mais recentes