安装Zookeeper

  • 下载相应版本的zookeeper

  • 解压文件

    tar -vxzf apache-zookeeper-3.8.0-bin.tar.gz
    
  • 进入conf目录下,复制zoo_sample.cfg文件,这个是官方提供的配置样例,我们修改复制的文件名称未zoo.cfg。

  • 进入bin目录,启动zookeeper

    sh zkServer.sh start
    

安装Kafka

  • 下载对应版本的kafka

  • 解压文件

    tar -zxvf kafka_2.12-3.4.0.tgz
    
  • 修改config/server.properties文件

    listeners=PLAINTEXT://:9092
    zookeeper.connect=localhost:2181
    
  • 启动kafka

    bin/kafka-server-start.sh -daemon config/server.properties
    

启动项目

服务层
  • 修改config/application.yml

image-20230515170145856

相关参数根据kafka配置来。

  • 启动sykwalking
bin/startup.sh
  • 检查kafka连接状态

    ./kafka-topics.sh --bootstrap-server localhost:9092 --list
    

    image-20230515170518175

相关的Topic已经成功创建则表示服务端启动成功。

探针层
  • 将 optional-reporter-plugins目录下kafka-reporter-plugin-8.8.0.jar移动到plugins下。
  • 修改agent.conf文件

image-20230515170813935

  • 重新启动应用。
  • 检查消息发送与消费
./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group skywalking-consumer

image-20230515171023645

.0.1:9092 --group skywalking-consumer


[外链图片转存中...(img-PxegJD4n-1684142365290)]

如果LOG-END-OFFSET表示消息投递数,如果CURRENT_OFFSET表示当前消费偏移量。
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐