MQ消息积压的解决方案
1、大量积压：如果是kafka，那么就将topic的partition增加10倍，将原来的消费者程序修改一下，写回MQ中，这样就可以快速的消费掉积压的数据。但是如果消费过程中存在一些问题，比如DB压力，或者第三方调用等等还需要考虑。2、rabbitmq设置了TTL数据丢失：夜深人静时，查出来再倒入。但是如果是消费信息，第三方有过期时间，就完蛋了，所还是别设置这个。3、挤压到磁盘满了：直接丢掉或者往
·
1、大量积压：如果是kafka，那么就将topic的partition增加10倍，将原来的消费者程序修改一下，写回MQ中，这样就可以快速的消费掉积压的数据。但是如果消费过程中存在一些问题，比如DB压力，或者第三方调用等等还需要考虑。
2、rabbitmq设置了TTL数据丢失：夜深人静时，查出来再倒入。但是如果是消费信息，第三方有过期时间，就完蛋了，所还是别设置这个。
3、挤压到磁盘满了：直接丢掉或者往其他地方写，快速消费掉，再想办法补偿。
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)