1.Error while executing topic command : replication factor: 1 larger than available brokers: 0

17/04/06 09:47:15 ERROR admin.TopicCommand$: kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0

很有可能是你broker没起来,还有一个原因是你你zookeeper配置目录不对,

kafka-topics --create --zookeeper master02:2181,master01:2181,slave01:2181,slave02:2181,slave03:2181/kafka --replication-factor 1 --partitions 1 --topic TEST-TOPIC

我的是/kafka,你可以到zookeeper上去看你的目录,这是coudera做的改变。

2.error reconnect due to 

在cloudera集群的kafka的时候本地要配上hadoop_home才可以连接kafka,所以我配置了cdh的hadoop_home.

问题:

A broker is already registered on the path /brokers/ids/0.

解决

配置文件里存在broker.id重复,检查一下每一台的broker.id是否与其他机器的broker.id不一样

问题

Exception in thread "main" java.lang.UnsupportedClassVersionError: kafka/Kafka : Unsupported major.minor version 51.0

解决

jdk版本不对,我用的kafka版本:2.10-0.10.1.0 对应jdk版本:1.7 不能用1.6

问题

ERROR Processor got uncaught exception. (kafka.network.Processor)
java.nio.BufferUnderflowException

解决

客户端的jar包和集群的版本号在小版本不一致,注意客户端的jar包不只要大版本一致,还要小版本完全一致,不一致的时候报的错不只这个.



Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐