Zookeeper与Kafka集成方式

Zookeeper与Kafka的集成通常涉及以下几个步骤:

1. 环境准备

  • 准备3台机器,分别为192.168.211.149192.168.211.137192.168.211.132,并安装JDK 1.8环境。
  • 下载Zookeeper和Kafka安装包,例如zookeeper-3.4.5.tar.gzkafka_2.13-3.1.0.tgz

2. 搭建Zookeeper集群

  • 上传软件包至指定目录并解压
  • 修改zoo.cfg配置文件,包括tickTimeinitLimitsyncLimitdataDirdataLogDirclientPort等参数,以及添加server.X条目,其中X是机器的ID。
  • 在各机器上创建myid文件,内容分别为123,对应各自的机器ID。
  • 启动Zookeeper集群,并在每台机器上使用jps命令检查进程,确保Zookeeper集群启动成功。

3. 搭建Kafka集群

  • 上传软件包至指定目录并解压
  • 修改server.properties配置文件,包括broker.idlistenerszookeeper.connectnum.partitionslog.retention.hours等参数。
  • 在各机器上创建对应的目录,如/opt/kafka_2.13-3.1.0/logs等。
  • 启动Kafka集群,使用命令nohup /opt/kafka_2.13-3.1.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.1.0/config/server.properties &
  • 创建Kafka主题,例如使用命令./bin/kafka-topics.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --create --topic wozaijia --partitions 2 --replication-factor 2

4. 验证集成

  • 生产消息,使用命令./bin/kafka-console-producer.sh --broker-list 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia
  • 消费消息,使用命令./bin/kafka-console-consumer.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia --from-beginning

以上步骤展示了如何在Linux环境下,通过修改配置文件和启动服务,将Zookeeper与Kafka集成在一起,并创建和消费主题。注意,实际操作中可能需要根据具体环境进行调整。

Both comments and pings are currently closed.

Comments are closed.

Powered by KingAbc | 粤ICP备16106647号-2 | Loading Time‌ 0.661