kafka-manager 的下载及安装
kafka-manager 的下载及安装
kafka-manager 的下载及安装
kafka-manager的功能
为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。
1、管理多个kafka集群
2、便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3、选择你要运行的副本
4、基于当前分区状况进行
5、可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6、删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7、Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
8、为已存在的topic增加分区
9、为已存在的topic更新配置
10、在多个topic上批量重分区
kafka-manager的安装部署
1、yum安装sbt(因为kafka-manager需要sbt编译)
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt
离线安装:
(1)下载安装包
http://www.scala-sbt.org/download.html
(2) 解压安装
tar -zxvf sbt-1.6.2.tgz -C /opt/apps/
(4) 建立启动脚本
a. 进入安装目录
cd /opt/apps/sbt
b. 创建sbt文件
vi sbt
c. sbt文件内容
#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxMetaspaceSize=256M"
java $SBT_OPTS -jar /opt/apps/sbt/bin/sbt-launch.jar "$@"
(5) 给启动脚本赋予权限
chmod a+x sbt
(6) 配置环境变量
vi /etc/profile
(7) 验证是否安装成功
sbt sbtVersion
2、下载kafka-manager并编译
1、jdk
jdk version "1.8.0_302"
2、kafka集群信息
服务器:
hadoop01:9092
hadoop02:9093
hadoop03:9094
软件:
kafka_2.12-2.6.2
apache-zookeeper-3.5.7
我们可以使用Git或者直接从Releases https://github.com/yahoo/CMAK/releases中下载,此处从下面的地址下载 3.0.0.5
版本
选择第一个zip包进行下载。下载完成后上传到Linux服务器上。
进入到源码目录,执行./sbt clean dist
进行编译
编译完成后会生成一个kafka-manager-1.3.3.23.zip
文件,这个文件就是编译后的文件。
编译时间比较长,提供一个编译好的zip包,下载后解压即可:
链接: https://pan.baidu.com/s/1XzWylHWLHenSnEWIyUuBnQ?pwd=ebm2
提取码: ebm2
3、修改配置文件/opt/apps/kafka-manager/conf/application.properties
kafka-manager.zkhosts="hadoop01:2181,hadoop02:2181,hadoop03:2181"
4、启动
nohup /opt/apps/kafka-manager/bin/kafka-manager -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf &
# 加入开机启动项
echo "nohup /opt/apps/kafka-manager/bin/kafka-manager -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf &" >> /etc/rc.local
5、登陆WEBUI查看
http://hadoop01:9000/
更多推荐
所有评论(0)