Apache Spark es el mayor proyecto de procesamiento de datos de código abierto, que proporciona una herramienta de procesamiento rápido para big data y analytics profundos. La supervisión de Apache Spark de Instana incluye la capacidad de supervisar Spark implementado a través de AWS EMR, pero también puede monitorizar el gestor de clústeres de Spark Standalone. La supervisión del rendimiento de Spark gira en torno a la supervisión de la instancia de Spark Driver. El sensor de supervisión de Spark de Instana admite ambos métodos de despliegue del conductor.
14 días, sin tarjeta de crédito, versión completa
Dependiendo del tipo de aplicación que se haya implementado (EMR, Standalone), se recopilan y utilizan diferentes datos para la supervisión.
Para las instancias de Spark que se ejecutan en AWS EMR, instale el agente de Instana en las instancias de Amazon EC2 con el clúster EMR. Si desea una implementación automática del sensor de supervisión de Spark, el agente de Instana debe colocarse en todos los nodos del clúster de EMR.
La supervisión de Spark de Instana incluye un panel de resumen creado automáticamente que se centra en los KPI de la aplicación, incluidos el tiempo de respuesta y la carga. El panel también incluye métricas clave de configuración y rendimiento de la infraestructura, así como métricas de datos de procesamiento de Spark. El panel permite a DevOps y operaciones de TI ver todos los datos relevantes de Spark en una pantalla, lo que facilita la comprensión del estado de sus instancias de Spark.
La supervisión del estado y el rendimiento de las instancias de Apache Spark requiere tanto una comprensión de Spark, como también la capacidad de ver las interacciones y dependencias entre instancias de Spark agrupadas y las interacciones con otros microservicios (tanto en sentido ascendente como descendente). El sensor de supervisión de Spark de Instana identifica y recopila automáticamente esas métricas relevantes.
Aplicaciones por lotes
- Empleos
- Etapas
- Pasos más largos completados
- Ejecutores
Aplicaciones de streaming
- Proceso por lotes
- Retraso de programación
- Retraso total
- Tiempo de procesamiento
- Operaciones de salida
- Registros de entrada
- Receptores
- Ejecutores
Configuraciones
- Host
- Puerto
- Resto de URI
- Versión
- Estado
Métricas
- Trabajadores activos
- Trabajadores no activos
- Trabajadores despedidos
- Trabajadores en estado desconocido
- Memoria utilizada
- Memoria total
- Núcleos usados
- Total de núcleos
- Datos y métricas por trabajador
- Aplicaciones más recientes
- Conductores más recientes