1前提条件

1.拥有Ubuntu系统机器

2.Ubuntu系统下安装好jdk1.8

3.Ubuntu系统下安装好scala2.12.11


2  安装scala

http://www.scala-lang.org/download/

官方下载较慢的,可以到这里下载,包含kafka scala

https://download.csdn.net/download/h4241778/12647333
2.1 解压
$mkdir /usr/local/scala
$tar -zxvf scala-2.12.3.tgz -C /usr/local/scala
2.2 配置环境变量
$sudo vim /etc/profile
export SCALA_HOME=/usr/local/scala/scala-2.12.11
export PATH=${SCALA_HOME}/bin:$PATH
2.3 保存后,让环境变量立即生效
$  source /etc/profile

3 安装kafka

1.下载kafka安装包,下载地址:http://archive.apache.org/dist/kafka/0.10.2.0/

下载版本:kafka_2.12-2.5.0.tgz

其中:scala版本为scala-2.12.11.tgz


将安装包通过WinSCP等工具上传至Linux系统的/soft目录下。

运行kafka依赖于ZooKeeper,可以用kafka自带的ZooKeeper,也可以使用自己安装的ZooKeeper

3.1解压
$ tar -zxf kafka_2.12-2.5.0.tgz

3.2 配置环境变量
$ vi /etc/profile
添加如下语句:
export KAFKA_HOME=/usr/local/kafka/kafka_2.12-2.5.0
export PATH=$PATH:$KAFKA_HOME/bin

3.3 保存后,让环境变量立即生效
$  source /etc/profile

4 测试


4.1 先启动ZooKeeper服务

可以启动Kafka自带的ZooKeeper服务,也可以器启动自己安装的ZooKeeper

这里先用Kafka自带的ZooKeeper服务

  $ cd /usr/local/kafka/kafka_2.12-2.5.0
  $ bin/zookeeper-server-start.sh config/zookeeper.properties

此时shell不会返回命令行,不要关闭这个终端。

4.2 启动kafka服务

打开另外一个新的终端(重要),输入以下命令

 $ cd /usr/local/kafka/kafka_2.12-2.5.0
 $ bin/kafka-server-start.sh config/server.properties

4.3 创建一个名为"test1"的topic

  $  cd /usr/local/kafka/kafka_2.12-2.5.0
  $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

 查看所包含的topic

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

4.4 打开Producer(生产者)服务

$ bin/kafka-console-producer.sh --broker-list 10.221.80.151:9092 --topic test1


输入以上命名后也不会返回命令行,不要关闭这个终端。

4.5 打开Customer(消费者)服务

另起一个新的终端

$ bin/kafka-console-consumer.sh --bootstrap-server 10.221.80.151:9092 --topic test1 --from-beginning


4.6测试:
在生产者窗口输入,在消费者就可以看到。创建生产者消费者时地址写成localhost 无效,写成确定地址生效(修改advertised.host.name导致)。

5 重启脚本命令

#!/bin/bash


cd /usr/local/kafka/kafka_2.12-2.5.0/bin/ && kafka-server-stop.sh ../config/server.properties
# 2>&1 >/dev/null &
sleep 2
cd /usr/local/kafka/kafka_2.12-2.5.0/bin/ && zookeeper-server-stop.sh ../config/zookeeper.properties
# 2>&1 >/dev/null &

sleep 3
cd /usr/local/kafka/kafka_2.12-2.5.0/bin/ && zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 >/dev/null &
sleep 5
cd /usr/local/kafka/kafka_2.12-2.5.0/bin/ && kafka-server-start.sh ../config/server.properties 2>&1 >/dev/null &
echo "sucess"

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐