sparkstreaming消费kafka如何保证输出结果只会产生一次
问题：sparkstreaming消费kafka如何保证输出结果只会产生一次解决方案：1.自己实现commitsync方法 ，这个方法运行时毫秒级2.每次消费完之后将offset保存到hdfs或本地，启动的时候读这个文件并且加入新增的partition offset即可但是！上面的方案还是会出现问题。。。因为入库操作和commitc方法不是一个原子操作。所以程序停止时可...
·
问题：
sparkstreaming消费kafka如何保证输出结果只会产生一次
解决方案：
1.自己实现commitsync方法 ，这个方法运行时毫秒级
2.每次消费完之后将offset保存到hdfs或本地，启动的时候读这个文件并且加入新增的partition offset即可
但是！上面的方案还是会出现问题。。。
因为入库操作和commitc方法不是一个原子操作。
所以程序停止时可能出现commitsync方法未完成或hdfs文件未写完..虽然概率很小。。
为了真正的解决上述问题，唯一的最合适的方案:
*****
将offset信息同结果数据一起入库，保证是一个原子操作，这样就万无一失了
*****
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)