快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

时间:2023-03-09 05:15:49
快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  RabbitMQ的集群是依赖erlang集群的,而erlang集群是通过.erlang.cookie文件进行通信认证的,所以我们使用RabbitMQ集群时只需要配置一下.erlang.cookie文件即可。下边简单演示一下RabbitMQ高可用集群的搭建,附带一个简单使用C#驱动RabbtiMQ集群的小栗子。

1 搭建RabbitMQ高可用集群

  首先准备三台设备,这里采用的三台Centos7的虚拟机,测试一下各个虚拟机能不能相互ping通,如果可以相互ping通的话,在每台虚拟机上分别安装RabbitMQ,可以参考第一篇的安装方法

第1步 修改主机配置

   为了方便机器间的相互访问,三台centos都执行  vim /etc/hosts ,添加下边的配置(注意修改成自己设备的IP):

192.168.70.129 rabbitmq1
192.168.70.131 rabbitmq2
192.168.70.133 rabbitmq3

  一般情况,hosts文件中内容如下:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

第2步:修改.erlang.cookie文件

  修改三台设备的.erlang.cookie中的key一致。如果使用的是前边的安装方法,.erlang.cookie的位置为 /var/lib/rabbitmq/.erlang.cookie (采用其他安装方式找不到文件的话,可以使用命令  find / -name '.erlang.cookie' 找到文件位置)。这里三台虚拟机的key都采用192.168.70.129的key(值为CRRQPKHDXEEIUJUOGYKN),在另外两台设备上 执行命令: vim /var/lib/rabbitmq/.erlang.cookie ,修改文件内容为CRRQPKHDXEEIUJUOGYKN。在修改时如果遇到权限问题,可执行命令 chmod 600 /var/lib/rabbitmq/.erlang.cookie 修改文件的权限为可写,修改内容完成后,执行命令 chmod 400 /var/lib/rabbitmq/.erlang.cookie 把文件再次改成只读的。

  完成上边的两步后,erlang集群就搭建好了,重启所有的设备即可。在rabbitmq1节点的虚拟机上执行命令 rabbitmqctl cluster_status 查看集群状态:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

第3步:添加/删除节点

添加节点

  把rabbitmq2节点添加到集群中去,在rabbitmq2节点执行以下命令:

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit1
rabbitmqctl start_app

  执行完成后,查看集群状态,看到rabbitmq2已经在集群中了,如下:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  重复上边的步骤,把rabbitmq3也添加到集群中,在rabbitmq3节点执行下边命令:
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbit2
rabbitmqctl start_app
  查看集群状态,rabbitmq3也在集群中了,如下:  

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  这时我们打开任意一个节点的Web管理界面,显示如下,看到集群已经配置完成了:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

删除节点
  把某一节点从集群中删除很简单,reset一下节点即可。如删除rabbitmq3节点,在rabbitmq3上执行以下命令:
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

  执行完成后,查看集群状态如下:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  现在搭建的集群是默认的普通集群,普通集群中节点可以共享集群中的exchange,routingKey和queue,但是queue中的消息只保存在首次声明queue的节点中。任意节点的消费者都可以消费其他节点的消息,比如消费者连接rabbitmq1节点的消费者(代码中建立Connection时,使用的rabbitmq1的IP)可以消费节点rabbitmq2的队列myqueue2中的消息,消息传输过程是:rabbitmq2把myqueue2中的消息传输给rabbtimq1,然后rabbitmq1节点把消息发送给consumer。因为queue中的消息只保存在首次声明queue的节点中,这样就有一个问题:如果某一个node节点挂掉了,那么只能等待该节点重新连接才能继续处理该节点内的消息(如果没有设置持久化的话,节点挂掉后消息会直接丢失)。如下图,rabbitmq1节点挂掉后,myqueue队列就down掉了,不能被访问。

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  针对上边的问题,我们可能会想到:如果可以让rabbitmq中的节点像redis集群的节点一样,每一个节点都保存所有的消息,比如让rabbitmq1不仅仅保存自己队列myqueue的消息,还保存其他节点的队列myqueue2和myqueue3中的消息,rabbitmq2和rabbitmq3节点也一样,这样就不用担心宕机的问题了。rabbitmq也提供了这样的功能:镜像队列。镜像队列由一个master和多个slave组成,使用镜像队列消息会自动在镜像节点间同步,而不是在consumer取数据时临时拉取。

第4步:配置镜像队列

  rabbitmq配置镜像队列十分简单,我们在任意一个node节点下执行下边的命令就可以完成镜像队列的配置(当然也可以在Web管理界面上添加policy):

rabbitmqctl set_policy ha-all "^my" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
# ha-all:为策略名称;
# ^my:为匹配符,只有一个^代表匹配所有,^abc为匹配名称以abc开头的queue或exchange;
# ha-mode:为同步模式,一共3种模式:
#    ①all-所有(所有的节点都同步消息),
#    ②exctly-指定节点的数目(需配置ha-params参数,此参数为int类型比如2,在集群中随机抽取2个节点同步消息)
#    ③nodes-指定具体节点(需配置ha-params参数,此参数为数组类型比如["rabbit@rabbitmq1","rabbit@rabbitmq2"],明确指定在这两个节点上同步消息)。

  打开Web管理界面,如果效果如下表示镜像队列已经配置完成了。当前myqueue的master节点为rabbitmq1:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  如果首次声明queue的节点(master)挂了,其他节点会自动变成master,如上图myqueue的master为rabbitmq1,停掉rabbtmq1后,结果如下:rabbitmq2成为了master。

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  我们发现rabbitmq1节点挂了后,rabbitmq2自动成为了myqueue的master,myqueue不会down掉,可以正常的添加/删除/获取消息,这就解决了普通集群宕机的问题。使用镜像队列,因为各个节点要同步消息,所以比较耗费资源,一般在可靠性比较高的场景使用镜像队列。

还可以配置其他策略的镜像队列,也是一行命令即可完成配置,一些其它同步模式的栗子:

#策略名为ha-twe,匹配以“my”开头的queue或exchange,在集群中随机挑选镜像节点,同步的节点为2个
rabbitmqctl set_policy ha-two "^my" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
#策略名为ha-nodes,匹配以“my”开头的queue或exchange,指定rabbit@rabbitmq2和rabbit@rabbitmq3为同步节点
rabbitmqctl set_policy ha-nodes "^my" \ '{"ha-mode":"nodes","ha-params":["rabbit@rabbitmq2", "rabbit@rabbitmq3"]}'

第5步:C#驱动RabbitMQ集群

  C#驱动RabbitMQ集群与C#驱动单机RabbtiMQ的方式基本一样,区别在于使用集群时,创建Connection指定的是一个host集合。看一个简单的栗子:

生产者代码:

        static void Main(string[] args)
{
var factory = new ConnectionFactory()
{
UserName = "wyy",//用户名
Password = "",//密码
AutomaticRecoveryEnabled = true,//Connection断了,自动重新连接
};
//集群中的三个rabbitmq节点
List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
//随机连接一个rabbitmq节点
using (var connection = factory.CreateConnection(hosts))
{
//创建通道channel
using (var channel = connection.CreateModel())
{
Console.WriteLine("生产者准备就绪....");
#region 发布100条消息
for (int i = ; i < ; i++)
{
channel.BasicPublish(exchange: "myexchange",
routingKey: "mykey",
basicProperties: null,
body: Encoding.UTF8.GetBytes($"第{i}条消息"));
}
#endregion
}
}
Console.ReadKey();
}

消费者代码:

        static void Main(string[] args)
{
var factory = new ConnectionFactory()
{
UserName = "wyy",//用户名
Password = "",//密码
};
//集群中的三个rabbitmq节点
List<string> hosts = new List<string>() { "192.168.70.129", "192.168.70.131", "192.168.70.1233" };
//随机连接一个rabbitmq节点
using (var connection = factory.CreateConnection(hosts))
{
using (var channel = connection.CreateModel())
{
//使用Qos,每次接收1条消息
channel.BasicQos(prefetchSize: , prefetchCount: , global: false);
Console.WriteLine("消费者准备就绪....");
#region EventingBasicConsumer //定义消费者
var consumer = new EventingBasicConsumer(channel);
consumer.Received += (sender, ea) =>
{
//处理一条消息需要10s时间
Thread.Sleep();
//显示确认消息
channel.BasicAck(deliveryTag: ea.DeliveryTag, multiple: false);
Console.WriteLine($"处理消息【{Encoding.UTF8.GetString(ea.Body)}】完成!");
};
//处理消息
channel.BasicConsume(queue: "myqueue",
autoAck: false,
consumer: consumer);
Console.ReadKey();
#endregion
}
}
}

   执行这两个应用程序,结果如下:

快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

  到这里RabbtMQ的集群搭建就告一段落了,有一个小问题:RabbitMQ的集群默认不支持负载均衡的。我们可以根据设备的性能,使用Qos给各个消费者指定合适的最大发送条数,这样可以在一定程度上实现负载均衡。也有园友通过Haproxy实现RabbitMQ集群的负载均衡,有兴趣的小伙伴可以研究一下,为什么使用Haprpxy而不用Ngnix呢?这是因为Haproxy支持四层(tcp,udp等)和七层(http,https,email等)的负载均衡,而Nginx只支持七层的负载均衡,而Rabbitmq是通过tcp传输的。本节也是RabbitMQ系列的最后一篇,如果文中有错误的话,希望大家可以指出,我会及时修改,谢谢。