KAFKA使用

 

期待您的关注

ＫＡＦＫＡ学习笔记

 

目录

KAFKA使用

１.启动zookeeper

２.启动Kafka

３.创建topic

４.创建控制台生产者

５.创建控制台消费者

６.退出Kafka进程

---

 

 

 =============== 启动 Kafka ==================

 

１.启动zookeeper

 

1) 启动zookeeper  -- 需要在master、 node1、 node2 任意位置启动
 
zkServer.sh start

2) 查看ZK状态
 
zkServer.sh status
 

 

 

２.启动Kafka

 

kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-2.0.0/config/server.properties

 

 

jps查看进程

 

 

３.创建topic

 

创建topic     -- topic : 消息队列/分类， 一个topic代表一类数据
	
	
kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic2
    
	  
注:  任意节点运行
	    
2181   -- ZK端口号
		
--replication-factor  -- 每一个分区的副本数量
		
--partitions          -- 分区数，根据数据量设置
		
test_topic2           -- topic名称，随便起


   
查看topic描述信息
	
kafka-topics.sh --describe  --zookeeper master:2181,node1:2181,node2:2181 --topic test_topic2


   
获取所有topic
	
kafka-topics.sh --list  --zookeeper  master:2181,node1:2181,node2:2181

 

 

４.创建控制台生产者

 

创建控制台生产者   -- 任意节点运行，返回 > ， 等待生产（输入）数据

	
kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic test_topic2
	    
		
（ 9092   -- Kafka broker(节点)的端口号 ）

 

 

５.创建控制台消费者

 

创建控制台消费者   -- 任意换一个节点运行 

	
kafka-console-consumer.sh --bootstrap-server master:9092,node1:9092,node2:9092 --from-beginning --topic test_topic2
        
		
（ --from-beginning   从头消费，， 如果不在执行消费的新的数据 ）


    
当生产者生产数据，消费者会立即消费数据（将数据打印出来）
	
边生产边消费

 

 

６.退出Kafka进程

 

Ｃｔｒｌ　＋　Ｃ