kafka部署

前置条件

  • kafka版本与zookeeper版本一定要对应,相应的看官网每个版本的对应信息
  • 例如kafka-3.7.0对应的zookeeper-3.8.3

部署

配置环境变量(每台机子都需要)

export KAFKA_HOME=/opt/module/kafka
export PATH=$KAFKA_HOME/bin:$PATH

修改kafka配置文件

# vim /opt/module/kafka/config/server.properties
# 按虚拟机顺序,修改这个值,从1开始
broker.id=1
# 需要在每台虚拟机上配置内外网访问,0.0.0.0表示监听所有网络上的9092端口
listeners=PLAINTEXT://0.0.0.0:9092
# 此设置为广播地址,可以写两个地址,先是外部地址,后是内部地址
advertised.listeners=PLAINTEXT://IP地址:9092
# 配置日志目录,方便管理
log.dirs=/opt/module/kafka/kafka-logs
# 这个值只需要保持每台虚拟机配置的保持一致就行
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka

从主节点分发kafka到各个节点去

# 每台虚拟机切换到kafka根目录,启动kafka --daemon为在后台启动
kafka-server-start.sh config/server.properties --daemon
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐