KnowStreaming介绍

Know Streaming是一套云原生的Kafka管控平台,脱胎于众多互联网内部多年的Kafka运营实践经验,专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景。在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为Kafka专家。

https://github.com/didi/KnowStreaming

KnowStreaming开发和启动

knowStreaming环境搭建

开发文档:https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

前端:https://github.com/didi/KnowStreaming/blob/master/km-console/README.md

相关环境快速快速指南

(1)mysql快速安装指南:docker安装mysql

https://blog.csdn.net/weixin_43291055/article/details/120335261

(2)kafka快速安装指南:docker-compose 安装kafka

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/kafka/docker-compose.yml

(3)es快速安装指南:docker-compose 安装es

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/es/docker-compose.yml

es信息初始化:
在这里插入图片描述
KnowStreaming\bin\init_es_template.sh 修改esaddr信息进行初始化,运行init_es_template.sh

mysql信息初始化:

KnowStreaming\km-persistence\src\main\resources\sql 下所有sql文件需要运行建表

配置信息修改:

KnowStreaming\km-rest\src\main\resources\application.yml

mysql配置信息

三处和mysql相关的信息都得配置

es配置信息
在这里插入图片描述

最后参考文档 https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

第三步和第四部即可启动

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐