1、概念对比

在这里插入图片描述
在这里插入图片描述

  • kafka集群包含多个broker,每个broker都是一个kafka实例。每个服务器会有多个broker,我们暂且认为每个服务器包含一个broker。
  • ElasticSearch集群包含多个Node,一个ElasticSearch实例称为一个Node。
  • 对于kafka来说,每个broker包含多个Topic,kafka的数据保存在Topic中。
  • ElasticSearch来说,每个Node包含多个shard。
  • 每个Topic划分成多个分区partition,分区的作用是用作负载。
  • 每个shard划分成多个segment.
  • 分区具有主从之分,Replication:每一个分区都有多个副本,副本的作用是做备胎。当主分区(Leader)故障的时候会选择一个备胎(Follower)上位,成为Leader。
  • shard具有主从之分,一个分片可以是主分片或者副本分片。 索引内任意一个文档都归属于一个主分片,所以主分片的数目决定着索引能够保存的最大数据量。一个副本分片只是一个主分片的拷贝。
    副本分片作为硬件故障时保护数据不丢失的冗余备份,并为搜索和返回文档等读操作提供服务。
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐