2020.03.26 更新

安装kafka 另一种方式:

kafka也再带zookeeper ,所以安装一个kafka就可以 (zookeeper想用那个都行,主要看心情吧)

启动方式:nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

===================================================

Ubuntu 16.04 安装 kafka 完整版

一、环境

Ubuntu 16.04 

注意 :Ubuntu 的内存大小8G ,不然 jdk 运行不起来,在配置jdk 的环境变量之后一定要查看 jdk是否配置成功。还有脚本的编写,一定要对,大小写,标点符号,缺一不可;

二、安装包

   

zookeeper:http://mirrors.shu.edu.cn/apache/zookeeper/

kafka:http://kafka.apache.org/downloads

选择你自己想要的版本然后进行下载

第一步:

用 XSHell 软件将 两个安装包 上传到Ubuntu 16.04 上,然后把这连个安装包放在你经常用的目录下 

mv /home/user/zookeeper-3.4.14.tar.gz

然后解压缩

tar -zxvf zookeeper-3.4.14.tar.gz   /   tar -zxvf kafka_2.12-2.2.1.tgz

我把解压缩的文件夹,放在了 tools 这个目录下了

第二步:

创建四个脚本 ,分别是 :

命令行 :touch runkafka.sh

进行加权限操作,命令:chmod -R 777 kafka,给整个kafka文件夹加权限

开始编辑四个.sh文件,runzookeeper.sh文件如下

./zookeeper-3.4.14/bin/zkServer.sh start zoo.cfg

runkafka.sh文件如下

./kafka_2.12-2.2.1/bin/kafka-server-start.sh ./kafka_2.12-2.2.1/config/server.properties

stopzookeeper.sh文件如下

./zookeeper-3.4.14/bin/zkServer.sh stop zoo.cfg

stopkafka.sh 文件如下

./kafka_2.12-2.2.1/bin/kafka-server-stop.sh

第三步:

配置文件的修改同Windows下一样,

修改完之后,运行:

先运行 zookeeper ,命令行:sh ./runzookeeper.sh   

后运行kafka  ,   命令行:sh ./runkafka.sh

结果:运行成功

kafka启动时报异常

Caused by: java.nio.file.FileSystemException: \tmp\kafka-logs\topic.alarmMatchFace-0\00000000000000009163.log -> \tmp\kafka-logs\topic.alarmMatchFace-0\00000000000000009163.log.deleted: 另一个程序正在使用此文件,进程无法访问。

       主要是因为tmp/kafka-logs文件的日志达到了1G且未被清理。由于这样的错误是在kafka服务关闭后重启kafka服务引起的,暂无好的解决方法,把tmp下的kafka-logs文件夹删除,再启动kafka服务就不会报错了。

====================================================================

如果出现运行kafka的时候报错 :

错误:Ubuntu kafka 第 306 行:exec: java: 未找到

原因:没有配置Java 的环境变量 ,或是 Ubuntu 没有安装 Java

Ubuntu 安装jdk 

jdk 地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

第一步:解压缩

tar -zxvf jdk-8u201-linux-x64.tar.gz

然后配置环境变量:使用命令打开/etc/profile文件

# java 环境变量
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH 
#kafka
export KAFKA_HOME=/opt/tools/kafka_2.12-2.2.1
export PATH=$PATH:$KAFKA_HOME/bin
#配置ZOOKEEPER环境变量
export ZOOKEEPER_HOME=/opt/tools/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

执行命令:source /etc/profile  是环境变量立即生效

java -version ,查看是否安装成功了

然后在重新启动程序,如果程序没有起来,莫慌

reboot ,重启一下Ubuntu !

Linux 虚拟机 关机、重启命令

然后在启动kafka 和zookeeper ,完成!!

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐