概要
Kafka Web Console是kafka的开源web监控程序.
功能介绍如下:
brokers列表
连接kafka的zk集群列表
所有topic列表，操作相应topic可以浏览查看相应message生产和消费流量图.

1.下载Kafka Web Console
Kafka Web Console


2.安装sbt
a. centos  : yum install sbt （yum安装不了，可以查看linux手动安装sbt）
b. ubuntu : apt-get install sbt   

3.配置Kafka Web Console
a.增加数据库依赖包(mysql)，解压kafka-web-console.tar.gz,进入目录cd kafka-web-console
编辑文件vim build.sbt 
增加mysql配置：
  1. ......
  2. libraryDependencies ++= Seq(
  3.   jdbc,
  4.   cache,
  5.   "org.squeryl" % "squeryl_2.10" % "0.9.5-6",
  6.   "com.twitter" % "util-zk_2.10" % "6.11.0",
  7.   "com.twitter" % "finagle-core_2.10" % "6.15.0",
  8.   "org.apache.kafka" % "kafka_2.10" % "0.8.1",
  9.   "org.quartz-scheduler" % "quartz" % "2.2.1",
  10.   "mysql" % "mysql-connector-java" % "5.1.9"
  11.     exclude("javax.jms", "jms")
  12.     exclude("com.sun.jdmk", "jmxtools")
  13.     exclude("com.sun.jmx", "jmxri")
  14. )
  15. .......




4.配置mysql的jdbc驱动
  1. vim application.conf


增加代码如下:
  1. .......  
  2. db.default.driver=com.mysql.jdbc.Driver  
  3. db.default.url="jdbc:mysql://192.168.2.105:3306/mafka?useUnicode=true&characterEncoding=UTF8&connectTimeout=5000&socketTimeout=10000"  
  4. db.default.user=xxx  
  5. db.default.password=xxx  
  6. .......  



5.执行sql语句(如下绿色选框所示)
 



6.编译
  1. root@localhost:~$ sbt package

打包编译时会从官网上下载很多jar，由于网络原因，所以很慢，需要耐心等待。
注意:下载的jar是隐藏的，在cd  ~/.ivy2 目录(相应子目录)下可以看到所有jar.
ivy2所有jar包百度云下载
ivy2所有jar包下载


7.运行
  1. root@localhost:~$ sbt run
 
8.浏览访问
访问地址: http://ip:9000/
# kafka
Logo
Kafka开源项目指南

Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。

更多推荐

Kafka入门（一） 概述、部署与API的简单使用

Kafka概述、部署与API的简单使用

avatar Kafka开源项目指南

基于canal和kafka同步，实现binlog同步ElasticSearch

文章目录前言elasticsearch 安装canal安装canal-adapter 安装及配置mysql 安装zk及kafaka安装查看效果注意事项前言中间件版本elasticsearch7.5.2canal1.1.4client-adapter1.1.5-alpha-1zookeeper3.4.13kafka2.6.0mysql5.7.31elasticsearch 安装{"settings"

avatar Kafka开源项目指南

基于 Iceberg 的湖仓一体架构在 B 站的实践

背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需求，一直是我们重点的工作方向。我们之前的数据处理流程基本上是这样的：采集端将客户端埋点、服务端埋点、日志、业务数据库等数据收集到HDFS、Kafka等存储系统中，然后通过Hive、Spark、Fl...

avatar Kafka开源项目指南