Apache Kafka는 높은 처리량의 데이터 파이프라인을 제공하는 인기 있는 오픈 소스 데이터 스트리밍 플랫폼입니다. 따라서 Instana는 인프라 및 애플리케이션 모니터링 솔루션에 포괄적인 Kafka 모니터링 기능을 포함시켰습니다. Instana는 환경에 존재하는 모든 Kafka 인스턴스를 검색하고 클러스터와 해당 서버 간의 종속성과 상호 작용을 이해하며 각 인스턴스의 상태와 성능을 자동으로 모니터링하기 시작합니다.
DevOps가 Kafka 클러스터를 최적화하도록 지원하기 위해 Instana는 예측 문제 감지 및 AI 지원 근본 원인 분석을 포함하여 Kafka 성능 및 상태 모니터링에 자동화 및 인공 지능을 적용합니다. Instana는 운영 내에서 Kafka 전문 지식의 필요성을 줄여줍니다.
14일, 신용 카드 없음, 정식 버전
Instana는 각 인스턴스에 대한 개별 구성 요소 및 애플리케이션 수준에서 Kafka의 핵심 성능 지표(KPI)를 모니터링합니다. Kafka KPI는 각 인스턴스 및 클러스터의 실시간 상태를 모니터링하는 데 사용됩니다. 서비스 KPI는 전체 환경에서 Kafka의 성능을 이해하는 데 사용됩니다.
Instana AI는 고급 통계 분석, 특정 지식 기반 데이터베이스 규칙 집합 및 적용된 머신 러닝을 사용하여 각 인스턴스 및 클러스터의 실시간 상태를 결정합니다.
Instana의 Apache Kafka 센서를 통해 모든 중요한 메트릭을 수집하여 각 Kafka 인스턴스의 상태와 클러스터에 있는 모든 데이터 파이프라인의 성능을 결정할 수 있습니다. Kafka 구성 데이터를 추적하면 Instana는 Kafka 인스턴스의 변경 사항을 모니터링하고 이러한 변경 사항을 전반적인 성능 문제와 연관시킬 수 있습니다.
Kafka 성능 및 구성은 설정, 인프라, 서비스 수준 및 트랜잭션에 대한 모든 정보를 결합하는 단일 대시보드에 요약됩니다. 대시보드를 통해 IT Ops 및 DevOps은 모든 관련 Kafka 데이터를 한곳에서 확인할 수 있으므로 문제를 쉽게 해결하고 성능을 최적화할 수 있습니다.
Kafka 성능 모니터링은 Kafka 클러스터 안팎에 있는 데이터 파이프라인 및 종속 애플리케이션과의 상호 작용과 관련된 메트릭을 중심으로 이루어집니다. Instana는 모든 관련 지표를 자동으로 식별하고 수집합니다. 다음은 Instana Kafka 대시보드의 샘플 스크린샷입니다.
Instana의 Kafka 모니터링에는 추적된 구성, 성능 메트릭 및 상태 서명의 세 가지 유형의 데이터가 포함됩니다.
추적된 구성
- 버전
성능 지표
- 브로커 트래픽
- 요청 지연 시간 vs. 처리량
- 브로커 실패
- 브로커 상태 메트릭
- 평균 유휴 시간
- 파티션
로그 플러싱
상태 서명
- 활성 컨트롤러 수
- isrShrinks, isrExpansions
- 리더 선택
- 부정 리더 선택
- 낮은 유휴 상태 네트워크 프로세서
- 오프라인 파티션
- 낮은 유휴 상태 요청 핸들러
복제된 파티션 아래
Apache Kafka의 오픈 소스 특성 덕분에 클라우드 및 온프레미스 환경에서 Apache Kafka를 운영할 수 있는 다양한 솔루션이 나와 있습니다. Instana는 다음을 포함하여 대부분의 일반적인 배포 전략을 지원합니다.
- 전용 가상 또는 물리적 하드웨어(Windows, Linux)에 설치
- 온프레미스 또는 매니지드 Kubernetes 환경에 설치
- 온프레미스 또는 매니지드 OpenShift 환경에 설치
- 온프레미스 또는 매니지드 Pivotal Cloud Foundry 환경에 설치
- 호스팅된 Kafka 서비스 Amazon MSK(Amazon Managed Streaming for Apache Kafka)
또한, Instana는 다음과 같은 여러 배포판의 Apache Kafka를 지원합니다.
- Vanilla Apache Kafka
- Confluent Kafka
- Cloudera Kafka
- Amazon MSK