./kafka-topics.sh --create --topic topic2--replication-factor 2 --partitions 4 --zookeeper 10.10.100.215:218

topic 主题创建了2个副本 ,4个分区

向 topic2 写入hello ,这个hello 会被分配到 其中一个分区和该分区的副本,并且这个hello 在这个分区写入是有顺序

 

配置文件制定的kafka写入数据的目录 log.dirs=/home/kafka_log,去该目录下查看分区情况

查看一个节点包含哪些分区:

 

215节点: topic2-0   topic2-3   topic2-2

216节点: topic2-0   topic2-1

217节点: topic2-1   topic2-2   topic2-3

 

# cd topic2-1 

进到某个目录查看数据情况

#nano 00000000000000000000.log ,刚好发现数据写入在这

查看一个分区包含哪些节点:总共2个副本,所以分布于2个分区

partition[0]=215,216

partition[1]=216,217

partition[2]=215,217

partition[3]=215,217

 

这是从2种纬度去看数据分布。

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐