【Bug】Kafka Tool 显示消息最大只可显示100万条数据
【背景】同步程序推送数据至第三方，现场对数时反馈有数据缺失问题。同步逻辑为：程序从表中查询数据后推送至kafka中，然后第三方消费指定topic。现场实施从表中查询到的结果和kafka中查询到的结果不一致。通过日志分析，程序并没有问题，后分析现场对数流程，发现验证时间段内待同步数据有两百多万，而kafka客户端仅显示100万数据，在这中进行筛选导致现场人员误以为kafka中的数据有缺失。...
·
【背景】同步程序推送数据至第三方，现场对数时反馈有数据缺失问题。同步逻辑为：程序从表中查询数据后推送至kafka中，然后第三方消费指定topic。现场实施从表中查询到的结果和kafka中查询到的结果不一致。通过日志分析，程序并没有问题，后分析现场对数流程，发现验证时间段内待同步数据有两百多万，而kafka客户端仅显示100万数据，在这中进行筛选导致现场人员误以为kafka中的数据有缺失。
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)