Databuff 插件发布 —— Kafka

Databuff 插件发布 —— Kafka

本次推送将介绍DataBuff中支持的大数据组件 ——Kafka。

Kafka 是一种分布式的，基于发布 / 订阅的消息系统，与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。故而对 Kafka 进行实时指标以可视化和监控可用性和性能有很大的现实意义。

01 安 装

Agent 的 Kafka 检查包含在Databuff Agent包中，因此您无需在 Kafka 节点上安装任何其他内容。
该检查通过 JMX 收集指标，因此您需要在每个 kafka 节点上都有一个 JVM，以便代理可以派生jmxfetch。您可以使用与 Kafka 相同的 JVM。

02 部 署 前 提

kafka 需要开放JMX端口给采集器访问。

03 配 置

配置采集kafka 配置文件。有两个文件需要配置。

1. 修改配置文件1

进入到配置文件kafka.d，修改 conf.yaml.example后缀为正式配置文件，并按照以下内容进行修改
instances:

• host: localhost
  port: 9999 #JMX配置开放的端口
  java_bin_path: /usr/local/jdk1.8.0_261/bin/java #Java路径

2. 修改配置文件2

进入到配置文件kafka_consumer.d，修改conf.yaml.example
后缀为正式配置文件，并按照以下内容进行修改

instances:

• kafka_connect_str:
  • localhost:9092 #kafka主机和端口，确认可以通过telnet能连即可
    monitor_unlisted_consumer_groups: true #设置为true
    monitor_all_broker_highwatermarks: true #设置为true

3. 重启Agent

04 监 控 指 标

将 Kafka 连接到 Databuff ，进而对生产者和消费者、复制、最大滞后等 百余项 指标进行监控，同时还可实现对可视化集群的性能实时监测以及将 Kafka 的性能与用户的其他应用程序相关联的目标。( 指标类型近110款 )

05 可 视 化 界 面

乘 云 简 介

Databuff ，云监测领导者，为国内独一无二的全栈式性能监测与智能运维平台 ，是云计算时代IT科技领域划时代的产品。可帮助您加速IT运维响应、加快企业数字化转型，全面提升您的核心业务与整体系统的稳定性保障水平，并确保最终用户获得最佳的数字体验，实现IT驱动业务的价值跨跃。

公司名称：乘云（杭州）数字科技有限公司

官方网站：www.databuff.com

合作邮箱：sales@databuff.com