RocketMQ 介绍
MQ 介绍
定义:
MQ(Message Queue,消息队列)是一种用来保存消息数据的队列。
队列:数据结构的一种,特征为“先进先出”。
MQ 作用
应用解耦(技术上必须弄好才能使用 MQ)
快速应用变更维护
流量削锋(削峰填谷)
MQ 缺点
- 系统可用性降低(解决:搭集群)
- 系统复杂度提高(解决:程序员提升水平)
- 异步消息机制(以下都有解决方案)
- 消息时序性
- 消息丢失
- 消息一致性
- 消息重复使用
MQ 常见产品
- ActiveMQ :java 语言实现,万级数据吞吐量,处理速度 ms 级,主从架构,成熟度高。
- RabbitMQ :erlang 语言实现,万级数据吞吐量,处理速度 us 级,主从架构。
- RocketMQ :java 语言实现,十万级数据吞吐量,处理速度 ms 级,分布式架构,功能强大,扩展性强。
- kafka :scala 语言实现,十万级数据吞吐量,处理速度 ms 级,分布式架构,功能较少,应用于大数据较多。
RocketMQ 简介
RocketMQ 是阿里开源的一款非常优秀中间件产品,脱胎于阿里的另一款队列技术 MetaQ,后捐赠给 Apache 基金会作为一款孵化技术,仅仅经历了一年多的时间就成为 Apache 基金会的*项目。并且现在已经在阿里内部被广泛应用,且经受住了多次双十一的这种极致场景的压力(2017 年的双十一,RocketMQ 流转的消息量达到了万亿级,峰值 TPS 达到 5600 万)。
同时,它还解决了上述提到的所有的消息队列的缺点。
RocketMQ 架构
RocketMQ 安装
1)安装 JDK
2)解压 RocketMQ 安装包(下载地址):unzip rocketmq-all-4.5.2-bin-release.zip
3)修改目录名称:mv rocketmq-all-4.5.2-bin-release rocketmq
4)调整 RocketMQ 的启动内存:
RocketMQ 的默认内存占用非常高,一般需要 4-8G 的虚拟机 JVM 参数空间,因此可以通过更改 mqbroker 和 mqnamesrv 的配置来调整内存。
RocketMQ 有两个启动脚本:bin 目录下的 runbroker.sh 和 runserver.sh,编辑如下内容,然后重新启动 broker 。
# vi runserver.sh
JAVA_OPT=”${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”
# vi runbroker.sh
JAVA_OPT=”${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn125m
- mqbroker 和 mqnamesrv 的内存也可以调整,这两项配置也很重要,默认是 500m 到 1g 。具体文件配置是 mqbroker.xml 和mqnamesrv.xml(文件里面的配置信息根据自己的情况修改):
<options>
<-Xms200m></-Xms200m>
<-Xmx200m></-Xmx200m>
<-XX:NewSize>50M</-XX:NewSize>
<-XX:MaxNewSize>50M</-XX:MaxNewSize>
<-XX:PermSize>30M</-XX:PermSize>
<-XX:MaxPermSize>30M</-XX:MaxPermSize>
</options>
- 注意:mqbroker.xml 和 mqnamesrv.xml 的内存不要超过 runbroker.sh 和runserver.sh 的内存,不然会因为内存不够导致崩溃。
5)bin 目录下启动 NameServer 服务:
sh mqnamesrv
# 后台启动
nohup sh mqnamesrv &
# 可以在当前目录的 nohup.out 中查看日志输出
6)bin 目录下启动 Borker 服务:
sh mqbroker -n localhost:9876
# 后台启动
nohup sh mqbroker -n localhost:9876 &
# 指定配置文件
sh mqbroker -n localhost:9876 -c ../conf/broker.conf
# 可以在当前目录的 nohup.out 中查看日志输出
7)关闭防火墙:
# 暂时关闭防火墙
systemctl stop firewalld
# 永久设置防火墙状态
systemctl enable firewalld.service # 打开
systemctl disable firewalld.service # 关闭
8)测试:
export NAMESRV_ADDR=localhost:9876
sh tools.sh org.apache.rocketmq.example.quickstart.Producer
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer