说明:安装部署过程是在已安装了jdk1.7的基础上进行的

官方下载地址:https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

通过ftp将kafka安装包kafka_2.11-0.9.0.1.tgz上传到服务器 /home/temp目录下
执行命令tar -xvf kafka_2.11-0.9.0.1.tgz 解压上传的kafka安装包

执行命令 ll 查看解压的安装包

执行命令 mv kafka_2.11-0.9.0.1 /home/kafka 将解压后的kafka移动到 /home目录下并重命名为kafka

执行命令 cd /home/kafka 进入kafka目录

1 配置并启动zookeeper
执行命令 mkdir zklogs 创建zookeeper日志文件存放路径

执行命令 vi config/zookeeper.properties 修改zookeeper的配置信息

按一下键盘上的 i 键进入编辑模式,将光标移动到日志文件存放路径配置信息所在行,并修改dataDir=/tmp/zookeeperdataDir=/home/kafka/zklogs

修改好后按下键盘上的Esc 键后 输入:wq 并按下Enter键保存修改的信息并退出,注意这里的:也是要输入的

执行nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties & 命令后台启动zookeeper,或者执行nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties > ./nohup_log/zk_console.out 2>&1 & 命令将日志输出到指定目录

执行命令ps -ef | grep zookeeper 查看zookeeper是否启动成功,出现类型如下信息表示成功启动


2 配置并启动kafka
执行命令 vi config/server.properties 修改kafka的配置信息

按一下键盘上的 i 键进入编辑模式,修改advertised.host.nameadvertised.port信息,这里的两个参数在客户端发送和接收消息的时候会使用到,要配置成可访问的ip和端口,修改前如下图

修改后参考下图

修改log.dirs=/tmp/kafka-logslog.dirs=/home/kafka/logs 该参数为kafka日志文件存放路径

修改每个topic的默认分区参数num.partitions,默认是1,具体合适的取值需要根据服务器配置进程确定

修改完成后按下键盘上的Esc 键后 输入:wq 并按下Enter键 保存修改的信息并退出,注意这里的:也是要输入的

执行命令 nohup ./bin/kafka-server-start.sh ./config/server.properties & 后台启动kafka

执行命令ps -ef | grep kafka查看kafka是否启动成功

截图的后半部分如下,出现server.properties结尾的进程信息表示kafka启动成功


到此kafka安装启动成功!

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐