Configuración de Elastic Stack

Instale y configure Elastic Stack para supervisar IBM® Component Pack for Connections.

¿Qué es Elastic Stack?

Elastic Stack es una colección de herramientas que recopila datos de registro y permite visualizar los registros en una ubicación central. Mediante consultas, puede analizar los registros para determinar cómo funciona el despliegue de Component Pack for Connections. Basada en código abierto, Elastic Stack permite obtener datos de forma fiable y segura de cualquier origen, con cualquier formato, y analizarlos, visualizarlos y realizar búsquedas en ellos en tiempo real.

Elastic Stack incluye los componentes siguientes:

Beats y Filebeat
Beats es una plataforma que da soporte a los cargadores de datos de propósito único como, por ejemplo, Filebeat, que recopila sucesos de registro en su despliegue y los reenvía a Logstash. Filebeat se ejecuta como un daemonset en Kubernetes, lo que significa que habrá 1 pod de Filebeat en cada nodo del clúster de Kubernetes, incluidos cada nodo maestro y de trabajador. Los servidores fuera del clúster de Kubernetes no se incluyen, por lo que no verá pods de Filebeat ejecutándose en nodos de almacenamiento, equilibradores de carga, etc.
Logstash
Logstash es un procesador de datos de código abierto que recibe datos de Filebeat, los transforma y, a continuación, los envía a Elasticsearch. Logstash se ejecuta como un conjunto con estado de 3 pods, con equilibrio de carga, en Kubernetes, marcado para asignarse a un nodo de infraestructura (si existe algún nodo de infraestructura). Logstash filtra y modifica los registros antes de enviarlos a Elasticsearch. En el contexto de Component Pack, los registros relacionados con Filebeat y Logstash se filtran de forma predeterminada, y se añaden anotaciones al documento para el filtrado en Elasticsearch. La adición de anotaciones convierte los datos en bruto en información añadiendo datos útiles a los registros como, por ejemplo, el nombre de pod de Kubernetes. Cuando se visualizan los datos, puede filtrarlos utilizando las anotaciones. Por ejemplo, puede filtrar por nombre de pod.
Elasticsearch
Elasticsearch es un motor de búsqueda y análisis que almacena la información de registro que recibe de Logstash. (Elasticsearch también puede utilizarse en el despliegue de Connections para dar soporte a las características de métricas y búsqueda de escritura anticipada).
Elasticsearch Curator
Elasticsearch Curator es una herramienta para gestionar los índices mediante la eliminación periódica de datos antiguos.
Kibana
Kibana se ejecuta en Kubernetes y proporciona un panel de control para ayudarle a visualizar los datos de registro almacenados en Elasticsearch.

Despliegue de Elastic Stack con Component Pack for Connections

Elastic Stack se integra con el clúster de Elasticsearch existente desplegado en Component Pack y optimiza los recursos en el sistema (Elastic Stack depende de Elasticsearch). Los registros recopilados por Filebeat se procesan en Logstash para su almacenamiento en Elasticsearch y pueden descubrirse en Kibana.

Revise las siguientes consideraciones antes de desplegar Elastic Stack:

  • Elastic Stack y Component Pack for Connections se han validado con Kubernetes v1.11.6 y solo son compatibles con esa versión.
  • El clúster de Elasticsearch debe estar desplegado y en ejecución.
  • Deben haber disponibles recursos suficientes en los nodos de trabajador que alojarán los pods de Elastic Stack.
  • (Opcional) Proporcione almacenamiento adicional si desea almacenar registros de Docker en los volúmenes permanentes de Elasticsearch.