kafka镜像使用wurstmeister/kafka:2.11-0.11.0.2

启动镜像,创建topic、消费者、生产者一切顺利。

使用java客户端访问时,不断的报

TimeoutException java.io.EOFException: null

update metadata timeout之类的错误。

debug后发现,这个问题和之前redis集群的问题类似(可以参见我之前的另一篇redis的文章),

程序获得了cluster集群的信息,包括节点和分区等metadata,但是返回给信息是kafka01(如果使用的是IP,那就更不好解决了),外部机器拿到这个hostname是无法访问docker内的机器的。

因为第一次用kafka,看了看官网的server.properties参数的介绍,尝试把以下几个参数统一设置为hostname而不是用IP(没有逐一验证DEPRECATED的参数是否需要配置,为了测试就都配上了)。

advertised.host.name = kafka01 (DEPRECATED)

advertised.listeners = PLAINTEXT://kafka01:9092(如果未设置listeners则该参数生效)

advertised.port = 9092 (DEPRECATED)

listeners=PLAINTEXT://kafka01:9092

关键的配置:

docker内的hosts使用条目:192.168.0.33    kafka01

docker外的宿主机hosts使用条目,不要使用127.0.0.1这个地址:

######### ip for docker beginr############

192.168.3.25 zk01

192.168.3.25 kafka01

即内外网均使用hostname,但各自的ip配置不同。

之前redis尝试过这个方式,但是生成的nodes.conf似乎不能识别hostname只能用ip,可能因为外网的hosts配置的ip使用的是127.0.0.1 localhost这个配置导致错误。以后试试使用hostname+实际的ip看看能不能解决jediscluster客户端无法访问docker中redis集群的问题。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐