1. 配置windows下的host: 参考https://jingyan.baidu.com/article/9113f81b49ed2f2b3214c7fa.html
C:\Windows\System32\drivers\etc

如果遇到只读权限不能修改时,将host文件复制一份到桌面,修改后在替换原来的host文件
修改后的格式如下:



2.通过git Bash 切换到kafka客户端的bin目录:

cd D:\sotfwares\kafka\kafka_2.13-2.4.1\bin

这里一定要切换为windows

cd windows/
image.png

3.查看已经有的topic

./kafka-topics.bat --bootstrap-server kafka-server:9092 --list

kafka-server 是host配置的kafka服务器的!
image.png
  1. 远程创建新的topic:
./kafka-topics.bat --create --topic etc-block --replication-factor 1 --partitions 1 --bootstrap-server kafka-server:9092

--topic 指定topic名字
--replication-factor 指定副本数,因为我的是集群环境,这里副本数就为3
--partitions 指定分区数,这个参数需要根据broker数和数据量决定,正常情况下,每个broker上两个partition最好

注意:服务器部署时候一定要用内网172. .开头的,外部访问设为外网ip
不然会导致Kafka写入数据的时候报错 : TImeout

5.修改服务器的host:
一定要注意加sudo 不然会导致readonly 无法修改

172.26.11.177    kafka-server
sudo vim /etc/hosts

6.切换到工程部署的目录

cd  home/lx/etc-chain-monitor/chain-monitor/deploy/etc

7.清理redis,不然数据有残留:
7.1服务器上的redis挂载清除:
在 docker-compose.yml中注销这几行:


image.png

这个是用来记录redis中假如上次指定的是1到100万块,没有执行完.下次接着执行没执行完的任务,测试时暂时关闭

sudo docker volume ls                  查看volume有哪些

7.2删除volume:

sudo docker volume rm etc-chain-monitor_chain-monitor-redis-volume    

7.3 如果volume文件被占用时,先删除占用容器:

sudo docker volume rm -f e522ff1c7881fb5394fb7bcec628bdc9afaeddadd43d02ba04c8a1822504b494
image.png

7.4 清除redis中的数据

redis-cli    进入redis命令行

flushall     清除所有

如果报出“**NOAUTH Authentication required.**”错误,那么需要用密码授权
使用 auth [密码]     就可以继续操作了
exit                 退出redis客户端
image.png

8.部署命令:
8.1开启docker可视化web上监控docker:

docker run -d -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/Users/zj/Documents/data portainer/portainer

然后访问: http://39.100.48.41:9000
宿主机IP + 9000端口

8.2执行部署命令,启动服务:

sudo docker stack deploy -c docker-compose.yml etc-chain-monitor
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐