ps:越努力越幸运。

 

你要思考一些一些问题,决定吞吐量的因素有哪些?

第一点: 数据传输的效率肯定是离不开网络的。
第二点: 就越是你数据的产生的速度,如果网络足够了,但是数据产生的速度不够也依旧达不到瓶颈。

第三点: 就是你需要达到什么样的效率,这个时候就要将网络性能是否满足你的需求做一个详细的评估了。这就叫做量力而行嘛, 你网络不够还非要要求那么高那就尴尬了。想让马儿跑,不给马儿吃草是不行滴。

上面两个问题只是让你简单的思考一些,接下来步入正题。

确定好kafka的分区的数量,首先和你的业务需要的吞吐量有关,比如说生产者发送数据的效率是p=40m/s  消费者美妙接受的效率是每秒钟c=30m/s 
而我们的业务场景要求每秒钟达到1Gb/s  那么这个时候需要的分区就是  1Gb/max{p,c}

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐