问题背景

前三个篇章介绍了graylog+kafka+zookeeper的单机安装部署以及使用,这个篇章做一个简单的 graylog 收集 kafka 存储的消息,目前直接第二篇kafka的发布者和订阅者。

graylog+kafka+zookeeper(单机测试及源码),graylog组件部署,查找问题分析(一)

graylog+kafka+zookeeper(单机测试及源码),kafka+zookeeper组件部署(二)

graylog+kafka+zookeeper(单机测试及源码),graylog测试用例及源码(三)

graylog+kafka+zookeeper(单机测试及源码),graylog收集kafka(脚本创建发布订阅方式)存储的消息(四)

graylog+kafka+zookeeper(单机测试及源码),graylog设置URL报警方式(五)

graylog+kafka+zookeeper(单机测试及源码),graylog+filebeat+sidecars收集log日志(六)

graylog+kafka+zookeeper(单机测试及源码),微服务日志查询使用(七)

graylog+kafka+zookeeper(单机测试及源码),仪表板Dashboards创建及使用(八)

graylog+kafka+zookeeper(单机测试及源码),indices索引和streams流创建及使用,日志定期删除功能(九)

graylog收集kafka消息

1 开启kafka的input输入


2 修改 kafka 和 zookeeper 的 IP 地址,点击确定

3 进入 /opt/modules/kafka/bin,启动kafka

./kafka-server-start.sh -daemon ../config/server.properties
jps


4 创建 kafka 的 topic,名字为 test

./kafka-topics.sh --create --zookeeper 10.10.195.199:2181 --replication-factor 1 --partitions 1 --topic test

查看topic列表

./kafka-topics.sh --list --zookeeper 10.10.195.199:2181


5 创建发布者

./kafka-console-producer.sh --broker-list 10.10.195.199:9092 --topic test

6 Xshell再开一个窗口,创建订阅者

./kafka-console-consumer.sh --zookeeper 10.10.195.199:2181 --from-beginning --topic test


7 发布者发送消息,订阅者接收消息


8 点击kafkaTest的Show received messages
9 可以看到已经收集到了kafka test topic的消息

问题总结

1 目前使用的是脚本创建发布订阅者的单机测试,下次出一篇项目工程的单机测试用例




作为程序员第 12 篇文章,每次写一句歌词记录一下,看看人生有几首歌的时间,wahahaha …

Lyric: 满满的被收割

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐