消息队列、死信队列、延时队列、kafka、消息可靠性传输
消息队列的作用1、解耦:使用消息队列来作为两个系统之间的通讯方式,两个系统不需要相互依赖;2、异步:系统A给消息队列发送完消息后,就可以继续做其他事情了;3、流量削峰:如果使用消息队列的方式来调用某个系统,那么消息将在队列中排队,由消费者自己控制消费速度。死信队列、延时队列死信队列:也是一个消息队列,用来存放那些没有成功消费的消息的,通常可以用来作为消息重试延时队列:用来存放需要在指定时间被处理的
消息队列的作用
1、解耦:使用消息队列来作为两个系统之间的通讯方式,两个系统不需要相互依赖;
2、异步:系统A给消息队列发送完消息后,就可以继续做其他事情了;
3、流量削峰:如果使用消息队列的方式来调用某个系统,那么消息将在队列中排队,由消费者自己控制消费速度。
死信队列、延时队列
死信队列:也是一个消息队列,用来存放那些没有成功消费的消息的,通常可以用来作为消息重试
延时队列:用来存放需要在指定时间被处理的元素的队列,通常可以用来处理一些具有过期性操作的业务,比如十分钟内未支付则取消订单
Kafka为什么比RocketMQ的吞吐量要高
Kafka的生产者采用的是异步发送消息机制,当发送一条消息时,消息并没有发送到Broker而是缓存起来,然后直接向业务返回成功,当缓存的消息达到一定数量时,再批量发送给Broker。这种做法减少了网络io,从而提高了消息发送的吞吐量,但是如果消息生产者宕机,会导致消息丢失,业务出错,所以理论上kafka利用了此机制提高了性能却降低了可靠性。
Kafka的Pull和Push分别有什么优缺点
1、pull表示消费者主动拉取,可以批量,也可以单条拉取,可以由消费者自己控制,根据处理能力来进行控制,但消费者不能及时知道是否有消息,可能会拉到消息为空;
2、push表示Broker主动给消费者推送消息,有消息时才会推送,但消费者不能按自己的能力来消费消息,推过来多少消息,消费者就得消费多少,可能造成网络阻塞,消费者压力大等问题。
RocketMQ底层实现原理
RocketMQ由NameServer集群、Producer集群、Consumer集群、Broker集群组成,消息生产和消费的原理如下:
1、Broker在启动时向所有的NameServer注册,并保持长连接,每30s发送一次心跳;
2、Producer在发送消息的时候从NameServer获取Broker服务器地址,根据负载均衡算法选择一台服务器来发送消息
3、Consumer消费者消费消息时,从NameServer获取Broker地址,然后主动拉取消息来消费
消息队列如何保证消息可靠传输
1、避免不重复消费,最保险的机制就是消费者实现幂等性,保证就算重复消费也不会有问题;
2、消息不能丢失,一方面生产者发送消息时,要确认broker确实接收到并持久化了这条消息,比如RabbitMQ的confirm机制,Kafka的ack机制都可以保证生产者能正确的将消息发送给broker;另一方面,broker要等待消费者真正确认消费了消息时,才能删除消息,这里通常通过消费端ack机制,消费者接受到一条消息后,如果确认没问题了,就可以给broker发送一个ack,broker接收到ack后才会删除消息;
更多推荐
所有评论(0)