Flink应用优化实践
1.问题定位(接入监控系统，在关键点位加入监控点)2.HBase表优化实践发现HBase数据保存以及查询一直耗时较高，联系HBase同事，做了限流处理，解决限流3.HBase优化之后，发现仍然耗时较大，看到大部分请求走HBase，上面再做一层缓存，用redis做缓存，调用数量明显减少4.请求接口监控，增加缓存，减少请求接口数量5.最后kafka消费终于上去了，...
·
1.问题定位(接入监控系统，在关键点位加入监控点)
2.HBase表优化实践
发现HBase数据保存以及查询一直耗时较高，联系HBase同事，做了限流处理，解决限流
3.HBase优化之后，发现仍然耗时较大，看到大部分请求走HBase，上面再做一层缓存，用redis做缓存，调用数量明显减少
4.请求接口监控，增加缓存，减少请求接口数量
5.最后kafka消费终于上去了，消息积压变少
6.消息挤压数量减小
7.解决思路------监控的使用非常关键，能够观察耗时、请求数量、可用率等等指标
(1)接入监控，在关键点加入监控点
(2)观察走HBase请求数量、请求接口数量以及耗时，增减缓存，减少直接走接口和查询HBase
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)