kafka的操作

kafka-topics.sh

kafka-topics.sh --list --bootstrap-server 192.168.74.139:9092

列出保存的信息

kafka-topics.sh --create --bootstrap-server 192.168.74.139:9092 partitions 3 replication-factor 2 --topic long

//如果2改成3，是一主两从
创建3个

kafka-topics.sh --create --bootstrap-server 192.168.74.139:9092 partitions 3 replication-factor 2 --topic long

分区，一主一从

查看分区情况

[root@bogon bin]# kafka-topics.sh --describe --bootstrap-server 192.168.74.139:9092 --topic longTopic: long	PartitionCount: 3	ReplicationFactor: 1	Configs: flush.ms=3000,segment.bytes=1073741824,flush.messages=10000
	Topic: long	Partition: 0	Leader: 1	Replicas: 1	Isr: 1
	Topic: long	Partition: 1	Leader: 0	Replicas: 0	Isr: 0
	Topic: long	Partition: 2	Leader: 2	Replicas: 2	Isr: 2

另外的两个操作：list；delete

修改分区个数只能增加不能减少

上面是三个分区，现在修改为四个分区

 最好的方式是有几个服务器弄几个分区，能够最大利用

我们这里演示一下三个分区的，最大利用率

 我们现在能够在第一台虚拟机创建生产者

其他两台服务器是消费者

 其他两台输出

 三个分区两个消费者，都能消费数据说明不在同一组

两个分区三个消费者，有一个不能消费

以上做的例子是两个不同的消费者组

那么如何让消费者在同一个组呢？

我们可以通过指令group进行区分

消费情况

 

 我们已经消费完的数据在consumer主题里面存着

在logs下面有日志数据

原创不易，转载声明