注意:从kafka-0.9版本及以后,kafka的消费者组和offset信息就不存zookeeper了,而是存到broker服务器上,所以,如果你为某个消费者指定了一个消费者组名称(group.id),那么,一旦这个消费者启动,这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。

  • kafka版本
➜  /Users/liuzhiwei> kafka-topics.sh --version
2.4.0 (Commit:77a89fcf8d7fa018)
  • 当前消费者组有哪些
➜  /Users/liuzhiwei> kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list           
lala
console-consumer-2232
call_details
  • 比如我们为消费者A指定了消费者组(group.id)为call_details,那么可以使用如下命令查看消费者组的消费情况
➜  /Users/liuzhiwei> kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group call_details --describe

Consumer group 'call_details' has no active members.

GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
call_details    example         0          3541            3544            3               -               -               -

  • 如果想让kafka消费者如何才能从头开始消费某个topic的全量数据

(1)使用一个全新的"group.id"(就是之前没有被任何消费者使用过);
(2)指定"auto.offset.reset"参数的值为earliest;

参考:https://www.cnblogs.com/jun1019/p/6700923.html

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐