高性能 Spark:伸缩和优化 Apache Spark 的最佳实践
Apache Spark
Apache Spark 监控和性能管理

Apache Spark 是最大的开源数据处理项目,为大数据和深度分析提供快速数据处理工具。Instana 的 Apache Spark 监控,包括监控通过 AWS EMR 部署的 Spark 的能力,但也可以监控 Spark 独立集群管理器。Spark 性能监控主要围绕监控 Spark 驱动程序实例进行。Instana 的 Spark 监控传感器支持两种驱动程序部署方法。

立即开始免费试用!

14 天,无需信用卡,完整版本

Kafka 性能与运行状况监控

根据已部署的应用程序类型(EMR、独立),收集不同的数据并用于监控。

Spark 性能和配置监控

对于在 AWS EMR 上运行的 Spark 实例,请在 EMR 集群中的 Amazon EC2 实例上安装 Instana 代理。如果您希望自动化部署 Spark 监控传感器,则必须在 EMR 集群的所有节点上放置 Instana 代理。

Instana 的 Spark 监控包括一个自动构建的摘要仪表板,该仪表板以应用程序 KPI 为中心,包括响应时间和负载。仪表板还包括关键基础架构配置和性能指标,以及特定的 Spark 处理数据指标。该仪表板允许 DevOps 和 IT Ops 在一个屏幕上查看所有相关的 Spark 数据,从而轻松了解其 Spark 实例的状态。

监控 Apache Spark 实例的运行状况和性能,不仅需要了解 Spark 本身,还需要能够查看集群 Spark 实例之间的交互和依赖关系,以及与其他微服务(上游和下游)的交互。Instana 的 Spark 监控传感器,可自动识别并收集这些相关指标。

Spark 监测数据

 

批处理应用程序数量

  • 作业
  • 阶段
  • 最长完成的步骤
  • 执行程序

    流式方法应用程序

    • 批处理
    • 调度延迟
    • 总延迟
    • 处理时间
    • 输出操作
    • 输入记录
    • 接收器
    • 执行程序

      配置

      • 主机
      • 端口
      • Rest URI
      • 版本
      • 状态

        指标

        • 活工作程序
        • 死工作程序
        • 退役工作程序
        • 未知状态的工作程序
        • 已用内存
        • 总内存
        • 已用内核
        • 总内核数
        • 每个工作程序的数据和指标
        • 最新应用程序
        • 最新驱动程序
          Spark 监控传感器安装:入门

          准备好开始监控 Spark 了吗?首先注册免费的 Instana 试用版。拥有帐户后,点击 Spark 管理文档 ,详细了解如何配置不同 Spark 驱动程序和部署类型。

          开始免费试用 Spark 管理文档