kafka-manager 的下载及安装

kafka-manager的功能

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。
1、管理多个kafka集群
2、便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3、选择你要运行的副本
4、基于当前分区状况进行
5、可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6、删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7、Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
8、为已存在的topic增加分区
9、为已存在的topic更新配置
10、在多个topic上批量重分区

kafka-manager的安装部署

1、yum安装sbt(因为kafka-manager需要sbt编译)

curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt

离线安装:
(1)下载安装包

http://www.scala-sbt.org/download.html

(2) 解压安装

tar -zxvf sbt-1.6.2.tgz -C /opt/apps/

(4) 建立启动脚本
a. 进入安装目录

cd /opt/apps/sbt

b. 创建sbt文件

vi sbt

c. sbt文件内容

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxMetaspaceSize=256M"
java $SBT_OPTS -jar /opt/apps/sbt/bin/sbt-launch.jar "$@"

(5) 给启动脚本赋予权限
chmod a+x sbt
(6) 配置环境变量

vi /etc/profile

(7) 验证是否安装成功

sbt sbtVersion

2、下载kafka-manager并编译

1、jdk
jdk version "1.8.0_302"

2、kafka集群信息
服务器:
hadoop01:9092
hadoop02:9093
hadoop03:9094
软件:
kafka_2.12-2.6.2
apache-zookeeper-3.5.7

我们可以使用Git或者直接从Releases https://github.com/yahoo/CMAK/releases中下载,此处从下面的地址下载 3.0.0.5 版本
选择第一个zip包进行下载。下载完成后上传到Linux服务器上。

进入到源码目录,执行./sbt clean dist 进行编译
编译完成后会生成一个kafka-manager-1.3.3.23.zip文件,这个文件就是编译后的文件。

编译时间比较长,提供一个编译好的zip包,下载后解压即可:
链接: https://pan.baidu.com/s/1XzWylHWLHenSnEWIyUuBnQ?pwd=ebm2
提取码: ebm2

3、修改配置文件/opt/apps/kafka-manager/conf/application.properties

kafka-manager.zkhosts="hadoop01:2181,hadoop02:2181,hadoop03:2181" 

4、启动

nohup /opt/apps/kafka-manager/bin/kafka-manager  -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf  &  

# 加入开机启动项
echo "nohup /opt/apps/kafka-manager/bin/kafka-manager  -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf  &" >> /etc/rc.local 

5、登陆WEBUI查看

http://hadoop01:9000/  

在这里插入图片描述

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐