RabbitMQ-消息堆积&高可用

前置文章：

RabbitMQ-消息可靠性&延迟消息

一、MQ常见问题

二、消息堆积-惰性队列

1、消息堆积问题

2、解决消息堆积方法

3、惰性队列

三、高可用-MQ集群

1、集群分类

2、普通集群

3、镜像集群

4、冲裁队列

确保发送的消息至少被消费一次；

实现消息的延迟投递；

处理消息无法及时消费的问题；

避免单点MQ故障导致整体不可用；

1、消息堆积问题

当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。最早接收到的消息，可能就会 成为死信 ，会 被丢弃 ，这就是消息堆积问题。

2、解决消息堆积方法

3、惰性队列

从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的概念，也就是惰性队列。

Ⅰ 接收到消息后直接 存入磁盘 而非内存；

Ⅱ 消费者要消费消息时才会 从磁盘中读取 并加载到内存；

Ⅲ 支持 数百万条 的消息存储。

要设置一个队列为惰性队列，只需要在声明队列时，指定x-queue-mode属性为lazy即可。

Ⅰ 可以通过命令行将一个运行中的队列修改为惰性队列，如下：

rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues

Ⅱ 用SpringAMQP声明惰性队列，如下：

@Bean注解的形式，如下：

@RabbitListener注解的形式，如下：

Ⅰ 优点

基于磁盘存储，消息上限高；

没有间歇性的page-out，性能比较稳定；

Ⅱ 缺点

基于磁盘存储，消息时效性会降低；

性能受限于磁盘的IO。

官方文档： Clustering Guide — RabbitMQ 。

1、集群分类

是一种 分布式集群 ，将队列分散到集群的各个节点，从而提高整个集群的并发能力。

是一种 主从集群 ，普通集群的基础上，添加了主从备份功能，提高集群的数据可用性。

注意：镜像集群虽然支持主从，但主从同步并不是强一致的，某些情况下可能有数据丢失的风险。

在RabbitMQ的3.8版本以后推出的，底层采用Raft协议确保主从的数据一致性。

2、普通集群

Ⅰ 会在集群的各个节点间共享部分数据，包括：交换机、队列元信息。不包含队列中的消息；

Ⅱ 当访问集群某节点时，如果队列不在该节点，会从数据所在节点传递到当前节点并返回；

Ⅲ 队列所在节点宕机，队列中的消息就会丢失。

Ⅰ 获取Cookie

RabbitMQ底层依赖于Erlang，而Erlang虚拟机就是一个面向分布式的语言，默认就支持集群模式。集群模式中的每个RabbitMQ 节点使用 cookie 来确定它们是否被允许相互通信。

要使两个节点能够通信，它们必须具有相同的共享秘密，称为 Erlang cookie 。cookie 只是一串最多 255 个字符的字母数字字符。

每个集群节点必须具有 相同的 cookie 。实例之间也需要它来相互通信。

首先获取Cookie，指令如下：

其中 YYNCLCJEKVNUFYQFPNZH 这一串就是生成的Cookie，如下：

Ⅱ 删除现有mq容器

Ⅲ 准备rabbitmq.conf配置文件

此处选择在tmp目录下创建，如下：

配置文件内容如下：

Ⅳ 准备Cookie记录文件

Ⅴ 准备集群目录

Ⅵ 拷贝配置文件、Cookie文件到目录

echo ：用于字符串的输出，输出字符串到 | 后面；

-t ：表示先打印命令，再执行；

-n 1 ：表示执行命令时用的args个数为1个。

Ⅶ 创建集群网络

Ⅷ 运行容器

集群中的节点标示默认都是： rabbit@[hostname] 。

Ⅰ 往rabbit@mq1添加队列

在mq2、mq3中也可以查看到该队列，因为元信息共享。

Ⅱ 往simple.queue添加数据

在mq2、mq3中可以查看到消息，如下：

Ⅲ 让mq1宕机

mq2、mq3无法读取到数据，因为只共享元信息，没有同步备份数据，如下：

3、镜像集群

镜像集群官方文档： Classic Queue Mirroring — RabbitMQ 。

普通集群不具备高可用的特性，使用镜像集群可以解决这个问题。

Ⅰ 镜像队列结构是一主多从（从就是镜像）；

Ⅱ 所有 *** 作都是主节点完成，然后同步给镜像节点；

Ⅲ 主宕机后，镜像节点会替代成新的主（如果在主从同步完成前，主就已经宕机，可能出现数据丢失）；

Ⅳ 不具备负载均衡功能，因为所有 *** 作都会有主节点完成（但是不同队列，其主节点可以不同，可以利用这个提高吞吐量）。

Ⅰ 设置exactly模式

Ⅱ 创建队列

Ⅲ 发送消息

Ⅳ 让mq1宕机

注意：mq1恢复后，该队列的主节点仍然为mq3。

4、冲裁队列

Ⅰ 与镜像队列一样，都是主从模式，支持主从数据同步；

Ⅱ 使用非常简单，没有复杂的配置；

Ⅲ 主从同步基于Raft协议，强一致。

注意：仲裁队列是3.8版本以后才有的新功能。

+2表示有2个镜像节点，仲裁队列默认镜像数为5，集群节点不足5则都是镜像。

@Bean注解配置

修改配置文件

以上即为RabbitMQ-消息堆积&高可用的全部内容，感谢阅读。

这次我使用的是RabbitTemplate

为什么Template不需要定义configuration文件来接收yml文件的参数？

这是个常识问题，我这里做个记录。。。

我都能忘记昨天吃了东西的，好在我喜欢做笔记。。。

我们的demo都是基于RabbitTemplate来写。。。

通过枚举ExchangeEnum、QueueEnum、BindingEnum动态维护和创建

1.初始化交换机

2.初始化队列

3.交换机和队列绑定

1.定义队列

2.定义交换机

3.交换机和队列绑定

4.不定义超时队列的@RabbitListener，只定义超时接收队列的@RabbitListener

测试：

1.AsyncRabbitTemplate定义

2.测试

3.监听方法

1.消息回退：

void basicNack(long deliveryTag, boolean multiple, boolean requeue)

2.拒绝消息

void basicReject(long deliveryTag, boolean requeue) throws IOException

3.确认ack

void basicAck(long deliveryTag, boolean multiple) throws IOException

4.创建一个队列

5.启动一个消费者，并返回服务端生成的消费者标识

6.取消消费者订阅

7.主动拉取队列中的一条消息

1.队列参数

2.消息参数

---