最新领导要求整理kafka的搭建整理文档,特此整理如下:

一、Kafka集群搭建

1. 安装环境:

centos,jdk8,安装好的zookeeper环境,三台相同的机器作为节点

2下载、解压kafka,版本是kafka_2.11-1.1.0;

生产环境为:/hadoop/
测试环境下为:/home/

3.修改配置

进入kafka的安装目录下,修改配置文件server.properties即可。
cd kafka_2.11-1.1.0/config/
vim server.properties
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其中在server.properties中关键配置项说明:
以下是比较重要的几项配置

broker.id = 1 (三个节点配成不同的1,2,3)
host.name=hb2 (本机ip或者主机名)
listeners= PLAINTEXT://192.168.xx.xx:9092 (本机ip)
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092
log.dirs=/data1/kafka-logs
zookeeper.connect= hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181 1 (之前安装的三个zk节点)
log.retention.hours=168 ##默认kafka中数据保存一周

完成之后,修改mastesr和slaves的主机名称之后,将所有的整个安装文件通过scp命令分发同步到其他集群节点中

4.启动停止kafka集群

单台启停:在/hadoop/
/hadoop/kafka_2.11-1.1.0/bin/目录下,使用
./bin/kafka-server-start.sh -daemon ./config/server.properties
单台启停:停止的时候,找到进程号。直接kill就行了

由于需要启动每一台机器的kafka节点服务,这里我配置了kafka集群一键脚本start_kafka_byfang.sh和stop_kafka_byfang.sh如下:

start_kafka_byfang.sh脚本
在这里插入图片描述
stop_kafka_byfang.sh脚本
在这里插入图片描述
(脚本具体路径在:/hadoop/kafka_2.11-1.1.0/bin/)
至此:kafka集群安装完成

二、搭建kafka-eagle-web

其中kafka-eagle是kafka的web-ui监控界面,用来使用可视化图形查看topic,分区数量等信息;

1.下载与解压

下载kafka_2.11-1.1.0.tgz压缩文件,然后使用tar -zxvf kafka_2.11-1.1.0.tgz 解压缩
下面开始安装kafka的web –ui,安装路径在/hadoop/下
下载解压kafka-eagle-web-1.2.4.tgz

2.修改配置:

更改配置文件/hadoop/kafka-eagle-web-1.2.4/conf/system-config.properties

只用更改以下重要配置项即可

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181
kafka.eagle.sasl.client=/hadoop/kafka-eagle-web-1.2.4/conf/kafka_client_jaas.conf

#存储位置
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

3.启动停止

单机启动:./ke.sh start
单机停止:./ke.sh stop

然后就可以访问web: http://host:port/ke
登陆用户名:密码(默认,在server.properties修改)
kafka.eagle.username=root
kafka.eagle.password=123456
登陆成功之后如下图:

删除topic时候需要输入口令为

# delete kafka topic token
kafka.eagle.topic.token=keadmin


参考的文章:
Kafka监控系统Kafka Eagle剖析
https://www.cnblogs.com/smartloli/p/9371904.html
Kafka集群监控工具之二–Kafka Eagle
https://www.cnblogs.com/cac2020/p/9717501.html

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐