kafka消费者客户端线程安全以及多线程实现并发读取消息
kafka的生产者客户端Producer是线程安全的，但是消费者客户端是非线程安全的，每次操作时都会调用accqure方法用来确定当前只有一个线程操作，如果有多个线程在操作，会抛出CME异常。针对这种情况，为了能够多线程更快速的读取消息，可以参考如下两种方式：在同一个消费者组下，每个线程建立一个consumer消费者组，这样相当于是在一个消费者组中多个消费者同时读取另外一种处理就是，用...
·
kafka的生产者客户端Producer是线程安全的，但是消费者客户端是非线程安全的，每次操作时都会调用accqure方法用来确定当前只有一个线程操作，如果有多个线程在操作，会抛出CME异常。
针对这种情况，为了能够多线程更快速的读取消息，可以参考如下两种方式：
在同一个消费者组下，每个线程建立一个consumer消费者组，这样相当于是在一个消费者组中多个消费者同时读取
另外一种处理就是，用一个线程去拉取消息，但是拉取后的消息交由线程池处理。一般poll都比较快，比较慢的是消息的业务逻辑处理
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)