1.使用的是centos 7

http://kafka.apache.org/downloads.html下载,点击里面的二进制路径,然后再linux上输入weget 路径,就会自己下载

2.解压

 tar -xzvf kafka_2.10-0.9.0.0.tgz

3.配置下conf下面的文件不然会容易报错:

1)https://blog.csdn.net/xukaics/article/details/48543881

内存不足引起的,修改方法:修改conf下kafka-server-start.shzookeeper-server-start.sh这2个

使用vi kafka-server-start.sh

原来:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

修改:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

2)还有一个报错:

在producer的console端输入字符串,consumer报Connection refused错误

解决方案:

 broker, producer和consumer都注册到zookeeper上,producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上:

                # Hostname the broker will bind to. If not set, the server will bind to all interfaces
                #host.name=localhost

        host名称没有指定,就是127.0.0.1,consumer去broker拿数据就有问题。设置为具体服务器ip地址,重启服务就好了

4.启动服务:

启动Zookeeper server:

                bin/zookeeper-server-start.sh config/zookeeper.properties &

                &是为了能退出命令行

        启动Kafka server:

                bin/kafka-server-start.sh config/server.properties &

        停止Kafka server:

                bin/kafka-server-stop.sh

        停止Zookeeper server: 

                bin/zookeeper-server-stop.sh

5.创建topic(kafka自带的创建消息生产者,消费消息者)

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

这个跟其他mq一样,都有有一个topic,然后接收方根据这个topic进行接收

>this is dajitui 

>hhh

这个是输入消息的过程

 

消费:bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic test

会输出你刚刚输入的2条消息

 

程序的话可以看下:https://blog.csdn.net/tangdong3415/article/details/53432166

springboot版本的集成https://blog.csdn.net/weixin_38336658/article/details/81432920

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐