kafka是一款基于发布与订阅的消息系统,一定顺序持久化记录,通过重建这些日志可以重建系统的状态

1.producer:消息生产者。
2.broker:kafka 集群中包含的服务器。
3.topic:每条发布到 kafka 集群的消息属于的类别。
4.partition:每个 topic 包含一个或多个 partition。
5.consumer:消费消息者。
6.Consumer group:每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
7.replica:partition 的副本,保障高可用。
8.leader:replica 中的一个角色, producer 和 consumer 只跟 leader 交互。主
9.follower:replica 中的一个角色,从 leader 中复制数据。从
10.controller:kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
12.zookeeper:kafka 通过 zookeeper 来存储集群的 meta 信息

1. 创建主题topic ,创建分区partitions ,创建副本因子replication-factor

 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --topic test --partitions 3 -
-replication-factor 1

topic 为 test partitions 为3 replication-factor 为1

2 修改数量,只能减

.\bin\windows\kafka-topics.bat --alter --zookeeper localhost:2181 --topic topic5 --partitions 12

3查看topic

 .\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --describe --topic test

 

 

 

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐