Python中使用Kafka
感觉python连接kafka比Scala(java)方便多了,但是总有遇到奇怪需求的时候(白身后的部门经理一眼):Java连接Kafka的方法与demo操作步骤:1.安装依赖包python连接kafka需要额外的依赖包,幸运的是python有提供,直接通过pip安装pykafka即可。2.producer:>>> from pykafka import KafkaClient>>> cl
·
感觉python连接kafka比Scala(java)方便多了,但是总有遇到奇怪需求的时候(白身后的部门经理一眼):Java连接Kafka的方法与demo
操作步骤:
1.安装依赖包
python连接kafka需要额外的依赖包,幸运的是python有提供,直接通过pip安装pykafka即可。
2.producer:
>>> from pykafka import KafkaClient
>>> client = KafkaClient(hosts="192.168.1.1:9092, 192.168.1.2:9092") # 可接受多个Client这是重点
>>> client.topics # 查看所有topic
>>> topic = client.topics['my.test'] # 选择一个topic
>>> producer = topic.get_producer()
>>> producer.produce(['test message ' + str(i ** 2) for i in range(4)])
3.consumer:
>>> balanced_consumer = topic.get_balanced_consumer(
consumer_group='testgroup',
auto_commit_enable=True, # 设置为Flase的时候不需要添加 consumer_group
zookeeper_connect='myZkClusterNode1.com:2181,myZkClusterNode2.com:2181/myZkChroot' # 这里就是连接多个zk
)
更多推荐
已为社区贡献1条内容
所有评论(0)