工作需要,本地搭建了kafka的集群做测试,并简单使用。

本地环境:
- VMware Workstation 14 Pro
- CentOS 7
- jdk-8u161-linux-x64.tar.gz
- zookeeper-3.4.10.tar.gz
- kafka_2.11-1.0.1.tgz

主机名IP软件
tyron0192.168.1.100jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron1192.168.1.101jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron2192.168.1.102jdk 8、zookeeper-3.4.10、kafka-1.1.0

kafka的topic使用

环境搭建

可以参考我之前的文章:VMware14搭建CentOS+jdk8环境

zookeeper安装

参考教程:认识 ZooKeeper-极客学院
附上配置文件:
zoo.cfg

// 启动zookeeper
cd /opt/zookeeper/bin/
./zkServer.sh start

zookeeper启动成功
注意事项:三台虚拟机开启2888、3888端口

firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
systemctl restart firewalld.service

搭建过程中出现的问题:启动ZooKeeper出错及解决方法

kafka安装

kafka安装相对简单与zookeeper安装类似,主要是修改配置文件:

broker.id=0        //依次增长的:0、1、2、3、4,集群中唯一id
host.name=192.168.1.100 // 主机ip,分别是101和102
port=9092 //端口号
log.dirs=/opt/kafka/logs  // 日志地址
zookeeper.connect=192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 //zookeeperServers列表,各节点以逗号分开
// 启动kafka
cd /opt/kafka/
bin/kafka-server-start.sh -daemon config/server.properties &

// 可能会有权限不足
chmod +x kafka-server-stop.sh

启动成功后,如本文第一张图所示。

参考文档:
kafka学习 非常详细的经典教程
Kafka教程(二)Kafka集群环境安装

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐