消息队列的作用

1、解耦:使用消息队列来作为两个系统之间的通讯方式,两个系统不需要相互依赖;

2、异步:系统A给消息队列发送完消息后,就可以继续做其他事情了;

3、流量削峰:如果使用消息队列的方式来调用某个系统,那么消息将在队列中排队,由消费者自己控制消费速度。

死信队列、延时队列

死信队列:也是一个消息队列,用来存放那些没有成功消费的消息的,通常可以用来作为消息重试

延时队列:用来存放需要在指定时间被处理的元素的队列,通常可以用来处理一些具有过期性操作的业务,比如十分钟内未支付则取消订单

Kafka为什么比RocketMQ的吞吐量要高

        Kafka的生产者采用的是异步发送消息机制,当发送一条消息时,消息并没有发送到Broker而是缓存起来,然后直接向业务返回成功,当缓存的消息达到一定数量时,再批量发送给Broker。这种做法减少了网络io,从而提高了消息发送的吞吐量,但是如果消息生产者宕机,会导致消息丢失,业务出错,所以理论上kafka利用了此机制提高了性能却降低了可靠性。

Kafka的Pull和Push分别有什么优缺点

1、pull表示消费者主动拉取,可以批量,也可以单条拉取,可以由消费者自己控制,根据处理能力来进行控制,但消费者不能及时知道是否有消息,可能会拉到消息为空;

2、push表示Broker主动给消费者推送消息,有消息时才会推送,但消费者不能按自己的能力来消费消息,推过来多少消息,消费者就得消费多少,可能造成网络阻塞,消费者压力大等问题。

RocketMQ底层实现原理

        RocketMQ由NameServer集群、Producer集群、Consumer集群、Broker集群组成,消息生产和消费的原理如下:

        1、Broker在启动时向所有的NameServer注册,并保持长连接,每30s发送一次心跳;

        2、Producer在发送消息的时候从NameServer获取Broker服务器地址,根据负载均衡算法选择一台服务器来发送消息

        3、Consumer消费者消费消息时,从NameServer获取Broker地址,然后主动拉取消息来消费

消息队列如何保证消息可靠传输

1、避免不重复消费,最保险的机制就是消费者实现幂等性,保证就算重复消费也不会有问题;

2、消息不能丢失,一方面生产者发送消息时,要确认broker确实接收到并持久化了这条消息,比如RabbitMQ的confirm机制,Kafka的ack机制都可以保证生产者能正确的将消息发送给broker;另一方面,broker要等待消费者真正确认消费了消息时,才能删除消息,这里通常通过消费端ack机制,消费者接受到一条消息后,如果确认没问题了,就可以给broker发送一个ack,broker接收到ack后才会删除消息;

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐