如何监控Debian Kafka的性能指标

5月 5th, 2025

在Debian上监控Kafka集群的性能指标可以通过多种工具和方法实现。以下是一些有效的监控技巧和工具：

使用kafka_exporter进行监控

安装kafka_exporter：你可以通过Docker Compose来部署多个kafka_exporter实例，每个实例监控一个Kafka broker。

version: '3.1'
services:
  kafka-exporter-opslogs:
    image: bitnami/kafka-exporter:latest
    command: '--kafka.server10.2.19.43:9092 --kafka.server10.2.24.62:9092 --kafka.server10.5.98.190:9092 --kafka.version3.2.1'
    restart: always
    ports:
      - 9310:9308
  kafka-exporter-prod:
    image: bitnami/kafka-exporter:latest
    command: '--kafka.server192.168.53.99:9092 --kafka.server192.168.53.53:9092 --kafka.server192.168.53.96:9092'
    restart: always
    ports:
      - 9311:9308

配置Prometheus接入kafka_exporter：在Prometheus的配置文件中添加kafka_exporter的job，确保每个kafka_exporter实例都有唯一的name标签。

job_name: 'kafka-exporter'
metrics_path: /metrics
scrape_interval: 15s
scrape_timeout: 10s
static_configs:
  - targets:
      - 10.0.0.26:9310
    labels:
      name: kafka-opslogs
    - targets:
      - 10.0.0.26:9311
    labels:
      name: kafka-prod

使用Grafana可视化监控

安装Grafana：在Debian上安装Grafana。

sudo apt-get updates
sudo apt-get install grafana

导入Kafka监控面板：导入基于Prometheus的Kafka监控面板（例如starsliao/Prometheus项目中的看板）。登录Grafana，点击左侧菜单中的Manage – Install，搜索并安装Prometheus插件，导入kafka看板（ID:21078）。

使用JConsole进行监控

启用JMX：修改kafka-server-start.sh脚本，增加JMX端口配置。
```
export JMX_PORT="9999"
```
启动JConsole：在终端中输入以下命令启动JConsole。
```
jconsole
```
通过JConsole连接到Kafka broker的JMX端口，进行监控。

使用Kafka Manager进行监控

安装Kafka Manager：从Kafka Manager的GitHub仓库下载并解压。
配置Kafka Manager：修改Kafka集群启动脚本，增加JMX相关参数。

配置监控告警规则

为了及时发现和处理问题，可以配置Prometheus告警规则。例如：

Kafka Brokers异常：

alert: KAFKA_brokers_exception
expr: kafka_broker_info != 1
for: 2m
labels:
  severity: critical
annotations:
  description: "当前brokers异常:"

Kafka消息积压：

alert: kafka_message_backpressure
expr: sum(kafka_consumergroup_lag_sum{job="kafka-exporter"}) by (name, consumergroup, topic) > 5000
for: 2m
labels:
  severity: critical
annotations:
  description: "【环境】 【消费组】{{ labels.consumergroup }}【topic】{{ labels.topic }}【积压】:{{ value }}  printf "%.2f" "