kafka迁移方案
kafka迁移方案
·
1.单生产单消费
方案思路:
- 完成 Topic 元数据的迁移。
- 生产者停止向旧kafka集群发送消息。
- 修改生产者配置后,生产者切到新kafka集群发送消息。
- 等待消费者消费完旧kafka剩余的消息。 修改消费之配置后,消费者切到
- 新kafka集群消费消息。
方案优劣:
- 优点:整体迁移流程简单清晰便于操作,过渡平滑。 缺点:在生产切到 新Kafka集群后,在消费切到新Kafka 集群之前,
- 新Kafka集群会存在一定量的堆积。
2.单生产双消费
方案思路:
- 完成 Topic 元数据的迁移。
- 新消费者实例连接新kafka集群等待消费消息。
- 生产者停止向旧kafka集群发送消息。
- 修改生产者配置后,生产者切到新kafka集群发送消息。
- 等待旧消费者消费完旧kafka剩余的消息,下线旧消费者实例。
方案优劣:
- 优点:整体迁移流程简单清晰便于操作,无数据积压,平滑过渡。
- 缺点:需要额外多起一套消费者。
更多推荐
所有评论(0)