================================================================

最近挺忙的，好久没更新文章了，最近在搞RocketMQ，那就先发点这个，Netty的文章等我空了再继续更。

一.MQ概述

====================================================================

1.MQ是什么

---

MQ全称为Message Queue，即消息队列 ，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生 产、存储、消费全过程的软件系统，遵循FIFO原则。在高并发的分布式系统中使用居多。

2.为什么用MQ

---

为什么要使用MQ, 我从生活中发现的一个例子来举例说明，即：天府通刷地铁出站的时候不是立马扣费，而是提示“出站成功，费用将会在稍后结算”, 我们假设天府通后台扣费流程如下：

【注意】假如天府通出站API 和 支付系统 是不同的子系统 (两个子系统远程通信)

上下班高峰期使用天府通刷码的人非常多，意味着并发量很高，一个出站请求到后台需要做费用结算，或者积分赠送等业务。由于并发很高，并且费用结算和积分等业务本来就耗时，况且支付服务也不一定能承担那么大的请求量。

当服务器线程耗尽，后续请求会等待变慢，再加上高并发请求就会导致后续请求越来越慢，请求长时间等待，导致大量请求超时。并发太高，可能会导致服务器的内存上升，CPU使用率急速上升，甚至导致服务器宕掉。

解决方案：使用MQ消峰，让请求在MQ中排队，效果如下

加入MQ后的效果

• 高并发请求在MQ中排队，达到了消除峰值的目的，不会有大量的请求同时怼到支付系统

• 服务异步调用，“天府通出站API” 把结算消息放入MQ就可以返回“出站成功，费用稍后结算”给用户，响应时间很快

• 服务彻底解耦，即使支付服务挂掉，也不影响“天府通出站API”正常工作，当支付系统再启动仍然可以继续消费MQ中的消息。

3.MQ的使用场景

---

• 限流削峰

MQ可以将系统的超量请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系统 被压垮。

• 服务解耦

上游系统对下游系统的调用若为同步调用，则会大大降低系统的吞吐量与并发度，且系统耦合度太高。 而异步调用则会解决这些问题。所以两层之间若要实现由同步到异步的转化，一般性做法就是，在这两层间添加一个MQ层。 即使消费者挂掉也不影响生产者工作，只要把消息放入队列即可，消费者重启后自己消费即可。

• 数据收集

通过MQ实现数据的收集，如：业务日志、监控数据、用户行为等

• 大数据处理

比如我们的平台向“三方平台”获取数据，一次请求了大量数据回来要进行处理，由于数据较多处理不过来，那么就可以放入MQ，再创建一些消费者进行数据处理即可。

4.常见的MQ产品

---

• ActiveMQ

ActiveMQ是使用Java语言开发一款MQ产品。早期很多公司与项目中都在使用。但现在的社区活跃度已经很低。现在的项目中已经很少使用了。

• RabbitMQ

RabbitMQ是使用ErLang语言开发的一款MQ产品，性能还是挺高的。但是其吞吐量较Kafka与RocketMQ要低，且由于其不是 Java语言开发，所以公司内部对其实现定制化开发难度较大。

• Kafka

Kafka是使用Scala/Java语言开发的一款MQ产品。其最大的特点就是高吞吐率，常用于大数据领域的实 时计算、日志采集等场景。其没有遵循任何常见的MQ协议，而是使用自研协议。对于Spring Cloud Netç ix，其仅支持RabbitMQ与Kafka。

• RocketMQ

RocketMQ是使用Java语言开发的一款MQ产品。经过数年阿里双11的考验，性能与稳定性非常高。其 没有遵循任何常见的MQ协议，而是使用自研协议。

【PS】偷来的图O(∩_∩)O哈哈~

技术选型建议：

• 大数据场景，日志收集，实时性要求高，推荐Kafka

• 金融领域，不能接受消息丢失或重复，推荐使用RocketMQ

• 其他情况可以选择RabbitMQ

一.RocketMQ认识与安装

=============================================================================

1.RocketMQ是什么

---

RocketMQ是一个统一消息引擎、轻量级数据处理平台。 RocketMQ是⼀款阿⾥巴巴开源的消息中间件，双十一承载了万亿级消息的流转，2016年11⽉，阿⾥巴巴向 Apache 软件基⾦会捐赠 RocketMQ，成为 Apache 孵化项⽬，2017 年 9 ⽉ ，Apache 宣布 RocketMQ孵化成为 Apache 顶级项⽬（TLP ）成为国内⾸个互联⽹中间件在 Apache 上的顶级项⽬。官网：https://github.com/apache/rocketmq/tree/master/docs/cn

2.RocketMQ的特征

---

• 支持集群模型、负载均衡、水平扩展能力

• 亿级别消息堆积能力

• 采用零拷贝的原理，顺序写盘，随机读

• 底层通信框架采用Netty NIO

• 消息失败重试机制、消息可查询

• 强调集群无单点，可扩展，任意一点高可用，水平可扩展

• 经过多次双十一的考验

3.RocketMQ的安装[windows]

---

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后总结

ActiveMQ+Kafka+RabbitMQ学习笔记PDF

• RabbitMQ实战指南

• 手写RocketMQ笔记

• 手写“Kafka笔记”

关于分布式，限流+缓存+缓存，这三大技术（包含：ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ）等等。这些相关的面试也好，还有手写以及学习的笔记PDF，都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍，并且小编也已经将其整理成PDF啦

手写“Kafka笔记”

[外链图片转存中…(img-VZXgca3p-1711999112298)]

关于分布式，限流+缓存+缓存，这三大技术（包含：ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ）等等。这些相关的面试也好，还有手写以及学习的笔记PDF，都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍，并且小编也已经将其整理成PDF啦