本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置

因工作需求，要从kafka中读取数据，今天鼓捣了一天，做个记录

kafka简介（摘自百度百科）

简介：
afka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量[2]  ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2]  的消息
支持通过Kafka服务器和消费机集群来分区消息
支持Hadoop并行数据加载

术语：
Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
Partition是物理上的概念，每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者，向Kafka broker读取消息的客户端。
Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。


1、下载Kafka版本

2、安装和配置

               1、将下载好的压缩包放到一个自己选好的安装目录例如：lihaizhen，然后解压kafka_2.11-1.1.0.tgz ；
                     #cd /lihaizhen;
                     #tar -zxvf kafka_2.11-1.1.0.tgz;
                  2、配置日志：进入到/lihaizhen/ kafka_2.11-1.1.0目录创建日志目录；
                     #cd /opt/kafka_2.11-1.1.0；
                     #mkdir logs；
                  3、修改kafka配置文件；
                       进入到/lihaizhen/kafka_2.11-1.1.0/config目录，修改server.properties。
                       #cd /opt/kafka_2.11-1.1.0/config；
                       #vi server.properties #编辑修改相应的参数
                          broker.id=0
                          port=9092 #kafka端口号
                          host.name=127.0.0.1 #服务器IP地址，修改为自己的服务器IP
                          log.dirs=/lihaizhen/kafka_2.11-1.1.0/logs #日志存放路径，对应上面创建的目录
                          zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
                       #:wq! #保存退出

到这里kafka就安装好了，但是先不要启动，

启动kafka前，需要先启动zookeeper，否则就会出现‘拒绝连接’的错误

zookeeper的安装与配置，请参考我的另外一篇博客：https://blog.csdn.net/Beyond_F4/article/details/80095689

Logo
Kafka开源项目指南

Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。

更多推荐

Kafka入门（一） 概述、部署与API的简单使用

Kafka概述、部署与API的简单使用

avatar Kafka开源项目指南

基于canal和kafka同步，实现binlog同步ElasticSearch

文章目录前言elasticsearch 安装canal安装canal-adapter 安装及配置mysql 安装zk及kafaka安装查看效果注意事项前言中间件版本elasticsearch7.5.2canal1.1.4client-adapter1.1.5-alpha-1zookeeper3.4.13kafka2.6.0mysql5.7.31elasticsearch 安装{"settings"

avatar Kafka开源项目指南

基于 Iceberg 的湖仓一体架构在 B 站的实践

背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需求，一直是我们重点的工作方向。我们之前的数据处理流程基本上是这样的：采集端将客户端埋点、服务端埋点、日志、业务数据库等数据收集到HDFS、Kafka等存储系统中，然后通过Hive、Spark、Fl...

avatar Kafka开源项目指南