1.下载安装

        1.下载地址

                http://archive.apache.org/dist/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz

        2.解压安装

tar -xzf kafka_2.10-0.8.1.1.tar.gz

        3.配置server.properties文件

cd /usr/local/kafka/config
vim server.properties
修改属性为:zookeeper.connect=localhost:2181

       4.启动kafka

cd /usr/local/kafka
sh bin/kafka-server-start.sh -daemon config/server.properties

       5.创建topic

bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --topic quickstart-events --bootstrap-server localhost:9092

        6.写入主题

bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

        7.阅读消息

bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

参照官网:Apache Kafka

2.简单应用

3.界面化管理工具

1.kafka-manager

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)_石臻臻的杂货铺-CSDN博客

https://github.com/didi/LogiKM/blob/master/docs/install_guide/install_guide_cn.md

4.常见问题

        1. 通过kafka-topics.sh创建topic出错

Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option

        问题原因:查了一些资料说是版本问题,需要换成最新的方式去创建topic 

        2.kafka3.0创建topic方式

        sh bin/kafka-console-producer.sh --broker-list master:9097 --topic test

原文参考:centos安装ZooKeeper和kafka_wushichao0325的博客-CSDN博客_centos7安装zookeeper和kafka

kafka官方文档:Apache Kafka 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐