CDH已经安装好,但是kafka一直错,根据日志也没改好,所以删了服务之后,重新添加了kafka服务,完成配置,运行成功。

  1. 添加服务->选择kafka
  2. 定义kafka Broker,kafka MirrorMaker,Gateway的角色分配,我分别添加了三个节点(master,node01,node02),一个主节点(master),和两个子节点(node01,node02)
  3. 配置Destination Broker List,Source Broker List,Topic Whitelist
    配置情况如下:
    Destination Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
    Source Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
    Topic Whitelist:master:9092(如果不添加白名单,可能会出现“whitelist must be specified when using new consumer in mirror maker”的错误)
  4. 启动服务,如果报错再配置broker id。
  5. 如果报内存的错误,再调整内存的大小比例。
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐