Kafka开源项目指南

 

安装使用：

1：下载nuget包

Confluent.Kafka

librdkafka.redist

System.Runtime.CompilerServices.Unsafe

 基于.net实现kafka的消息队列应用，常用的类库有kafka-net，Confluent.Kafka，官网推荐使用Confluent.Kafka

 

 

参考：

https://blog.csdn.net/qq_34894585/article/details/83651827

 

 

kafka：

Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
主题：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
分区：Partition是物理上的概念，每个Topic包含一个或多个Partition.（一般为kafka节点数cpu的总核数）
Producer
生产者，负责发布消息到Kafka broker
Consumer
消费者：从Kafka broker读取消息的客户端。
Consumer Group
消费者组：每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

可扩展性
    在不需要下线的情况下进行扩容
    数据流分区(partition)存储在多个机器上
高性能
    单个broker就能服务上千客户端
    单个broker每秒种读/写可达每秒几百兆字节
    多个brokers组成的集群将达到非常强的吞吐能力
    性能稳定，无论数据多大
    Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。

 

kafka可视化工具

http://www.kafkatool.com/download.html

具体使用可参考：https://www.cnblogs.com/frankdeng/p/9452982.html