安装zookeeper和kafka过程中遇到的问题


 

一、zookeeper中遇到的问题

1、版本问题

      docker安装时不建议使用zookeeper:last 这版,建议使用 wurstmeister/zookeeper:last 这版。

 

2、zookeeper伪集群启动失败问题

出现这个问题时,查看该目录下logs中的日志信息,发现报错 

Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.server.quorum.QuorumPeerMain

于是,经过网上的一顿查找后,在某一个博主那看到说需要使用带有-bin的源码包,那么经过下载下来测试之后发现,如下图,还是启动报错,只是错误类型改变了,那么就继续解决问题吧。

问题解决:

又经过一顿查找后,是因为缺少myid的原因,需要在每个配置文件dataDir指定的文件夹下创建一个文件,然后随便写一个数字,要求是你的这几个配置文件中的数字不能重复,首先找到你的配置文件中的dataDir指定的位置,我的启动配置文件为zoo1.cfg

如图,修改之后,再次启动就能正常启动了。

 

二、kafka中遇到的问题

1、版本问题

      docker安装时不建议使用kafka:last 这版,建议使用 wurstmeister/kafka:last 这版。

 

2、org.apache.kafka.common.KafkaException: Socket server failed to bind to 192.40.10.152:6667: Address not available.

原因:在创建容器的我已经进行了 -e部分的配置的书写,此后我又在 kafka 的server.properties 中进行监听的配置,因此造成这种错误。

创建容器语句:docker run -itd --name ag_kafka_v1 -p 192.40.10.152:6667:6667 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.40.10.152:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.40.10.152:6667 -e KAFKA_LISTENERS=PLAINTEXT://192.40.10.152:6667 --network ag_net wurstmeister/kafka /bin/bash

server.properties文件中的监听配置:listeners=PLAINTEXT\://192.40.10.152\:6667

解决方法:将listeners的这一行给注释掉。

 

 

 

总结

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐