rabbit MQ 消息队列

为什么会需要消息队列(MQ)？

一、消息队列概述
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ

二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。

2.1异步处理
场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式
a、串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。

b、并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间

假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的，假设CPU1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次（1000/150）。并行方式处理的请求量是10次（1000/100）

小结：如以上案例描述，传统的方式系统的性能（并发量，吞吐量，响应时间）会有瓶颈。如何解决这个问题呢？

引入消息队列，将不是必须的业务逻辑，异步处理。改造后的架构如下：

2.2应用解耦
例子1：

传统模式的缺点：

系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，
如果将来D系统接入，系统A还需要修改代码，过于麻烦！

中间件模式的的优点：

将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不需要做任何修改。

例子2：

2.3流量削锋
流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。
应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。
a、可以控制活动的人数
b、可以缓解短时间内高流量压垮应用

用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息，再做后续处理

2.4日志处理
日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解决大量日志传输的问题。架构简化如下

日志采集客户端，负责日志数据采集，定时写受写入Kafka队列
Kafka消息队列，负责日志数据的接收，存储和转发
日志处理应用：订阅并消费kafka队列中的日志数据

2.5消息通讯
消息通讯是指，消息队列一般都内置了高效的通信机制，因此也可以用在纯的消息通讯。
比如实现点对点消息队列，或者聊天室等
点对点通讯：

客户端A，客户端B，客户端N订阅同一主题，进行消息发布和接收。实现类似聊天室效果。

以上实际是消息队列的两种消息模式，点对点或发布订阅模式。模型为示意图，供参考。

三、使用了消息队列会有什么缺点?

分析:一个使用了MQ的项目，如果连这个问题都没有考虑过，就把MQ引进去了，那就给自己的项目带来了风险。我们引入一个技术，要对这个技术的弊端有充分的认识，才能做好预防。要记住，不要给公司挖坑！
回答:回答也很容易，从以下两个个角度来答

系统可用性降低:你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去，那消息队列挂了，你的系统不是呵呵了。因此，系统可用性降低
系统复杂性增加:要多考虑很多方面的问题，比如一致性问题、如何保证消息不被重复消费，如何保证保证消息可靠传输。因此，需要考虑的东西更多，系统复杂性增大。

但是，我们该用还是要用的。

四、消息中间件示例

消息队列采用高可用，可持久化的消息中间件。比如Active MQ，Rabbit MQ，Rocket Mq。
（1）应用将主干逻辑处理完成后，写入消息队列。消息发送是否成功可以开启消息的确认模式。（消息队列返回消息接收成功状态后，应用再返回，这样保障消息的完整性）
（2）扩展流程（发短信，配送处理）订阅队列消息。采用推或拉的方式获取消息并处理。
（3）消息将应用解耦的同时，带来了数据一致性问题，可以采用最终一致性方式解决。比如主数据写入数据库，扩展应用根据消息队列，并结合数据库方式实现基于消息队列的后续处理。

3.2日志收集系统

分为Zookeeper注册中心，日志收集客户端，Kafka集群和Storm集群（OtherApp）四部分组成。
Zookeeper注册中心，提出负载均衡和地址查找服务
日志收集客户端，用于采集应用系统的日志，并将数据推送到kafka队列
Kafka集群：接收，路由，存储，转发等消息处理
Storm集群：与OtherApp处于同一级别，采用拉的方式消费队列中的数据

五、常见消息队列

特性	ActiveMQ	RabbitMQ	RocketMQ	kafka
开发语言	java	erlang	java	scala
单机吞吐量	万级	万级	10万级	10万级
时效性	ms级	us级	ms级	ms级以内
可用性	高(主从架构)	高(主从架构)	非常高(分布式架构)	非常高(分布式架构)
功能特性	成熟的产品，在很多公司得到应用；有较多的文档；各种协议支持较好	基于erlang开发，所以并发能力很强，性能极其好，延时很低;管理界面较丰富	MQ功能比较完备，扩展性佳	只支持主要的MQ功能，像一些消息查询，消息回溯等功能没有提供，毕竟是为大数据准备的，在大数据领域应用广。

六、安装 RabbitMQ

总结：

需要先安装erlang语言 socat  再安装 rabbitMQ

erlang下载列表：https://github.com/rabbitmq/erlang-rpm/releases
rabbitMQ下载列表：https://github.com/rabbitmq/rabbitmq-server/releases

rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm
yum install socat.x86_64
rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm

安装笔记：

第一种方法：手动

安装yum epel仓库 epel-release.noarch
安装 erlang语言 yum install erlang.x86_64
官网下载rpm包，安装 rabbitMQ rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm
报错：

# rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm 
warning: rabbitmq-server-3.7.12-1.el7.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 6026dfca: NOKEY
error: Failed dependencies:
    erlang >= 20.3 is needed by rabbitmq-server-3.7.12-1.el7.noarch
    socat is needed by rabbitmq-server-3.7.12-1.el7.noarch

先解决第二个错误 yum -y install socat

第一个错误是用epel仓库安装的erlang版本太低，是

# yum list |grep erlang
erlang.x86_64                           R16B-03.18.el7                 @epel

这里需要用20.3以上版本的

到官网下载新版本的erlang

erlang-20.3.8.20-1.el7.x86_64

安装新版本：rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm

报错：提示与以前版本冲突

]# rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm 
warning: erlang-20.3.8.20-1.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
    file /usr/lib64/erlang/bin/epmd from install of erlang-20.3.8.20-1.el7.x86_64 conflicts with file from package erlang-erts-R16B-03.18.el7.x86_64
    file /usr/lib64/erlang/bin/erl from install of erlang-20.3.8.20-1.el7.x86_64 conflicts with file from package erlang-erts-R16B-03.18.el7.x86_64

卸载以前版本：yum remove erlang-erts-R16B-03.18.el7.x86_64

再次安装：

# rpm -ivh erlang-20.3.8.20-1.el7.x86_64.rpm 
warning: erlang-20.3.8.20-1.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:erlang-20.3.8.20-1.el7           ################################# [100%]

查看erlang版本，并安装rabbitMQ

# erl
Erlang/OTP 20 [erts-9.3.3.9] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:10] [hipe] [kernel-poll:false]

Eshell V9.3.3.9  (abort with ^G)
1>  
BREAK: (a)bort (c)ontinue (p)roc info (i)nfo (l)oaded
       (v)ersion (k)ill (D)b-tables (d)istribution

[root@localhost rabbitmq]# rpm -ivh rabbitmq-server-3.7.12-1.el7.noarch.rpm 
warning: rabbitmq-server-3.7.12-1.el7.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 6026dfca: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:rabbitmq-server-3.7.12-1.el7     ################################# [100%]

安装成功！

第二种方法全yum

下载rpm仓库：wget http://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm

安装rpm仓库
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm

安装erlang
yum -y install erlang

备注：上面可能会出现报错，我安装就出现缺少epel-release包，缺少就安装即可解决。
安装epel-release
yum install -y epel-release

下载RabbitMQ包
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el6.noarch.rpm

安装RabbitMQ
yum install rabbitmq-server-3.6.6-1.el6.noarch.rpm -y

七、使用管理 rabbitMQ

对应一种安装方法：

启动rabbitmq，并验证启动情况
rabbitmq-server --detached &ps aux |grep rabbitmq

以服务的方式启动
service rabbitmq-server start

检查端口5672是否打开
/sbin/iptables -I INPUT -p tcp --dport 5672 -j ACCEPT
/etc/rc.d/init.d/iptables save
/etc/init.d/iptables restart
/etc/init.d/iptables status

启用维护插件 15672端口
rabbitmq-plugins enable rabbitmq_management

重启rabbitmq
service rabbitmq-server restart

无法登陆

登录遇到问题：User can only log in via localhost

解决问题：

找到这个文件rabbit.app
/usr/lib/rabbitmq/lib/rabbitmq_server-3.7.7/ebin/rabbit.app

将：{loopback_users, [<<”guest”>>]}，
改为：{loopback_users, []}，
原因：rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问

重启服务就OK了 systemctl restart rabbitmq-server.service

user:guest
pwd:guest

对应第二种安装方法：

进入bin下，使用下面命令开启管理页面

# whereis rabbitmq
rabbitmq: /usr/lib/rabbitmq /etc/rabbitmq
# cd /usr/lib/rabbitmq/bin/
#./rabbitmq-plugins enable rabbitmq_management

创建用户 root 密码 123456

#rabbitmqctl add_user root 123456
#rabbitmqctl set_user_tags root administrator

给用户授予读写权限

 rabbitmqctl set_permissions -p / root ".*" ".*" ".*"

这条命令里面 / 的意思

虚拟主机vhost

每一个RabbitMQ服务器都能创建虚拟消息服务器，我们称之为虚拟主机。每一个vhost本质上是一个mini版的RabbitMQ服务器，
拥有自己的交换机、队列、绑定等，拥有自己的权限机制。vhost之于Rabbit就像虚拟机之于物理机一样。
他们通过在各个实例间提供逻辑上分离，允许为不同的应用程序安全保密的运行数据，
这很有，它既能将同一个Rabbit的众多客户区分开来，又可以避免队列和交换器的命名冲突。RabbitMQ提供了开箱即用的默认的虚拟主机“/”，
如果不需要多个vhost可以直接使用这个默认的vhost，通过使用缺省的guest用户名和guest密码来访问默认的vhost。

vhost之间是相互独立的，这避免了各种命名的冲突，就像App中的沙盒的概念一样，每个沙盒是相互独立的，且只能访问自己的沙盒，以保证非法访问别的沙盒带来的安全隐患。

重启rabbitmq，然后直接访问http://IP：15672就可以看到相应的管理web界面

----------------------------------------------------------------------------分割线----------------------------------------------------------------------------

1、服务器启动与关闭
启动:service rabbitmq-server start
关闭:service rabbitmq-server stop
重启:service rabbitmq-server restart

2、用户管理
新增 rabbitmqctl add_user admin admin
删除 rabbitmqctl delete_user admin
修改 rabbitmqctl change_password admin admin123

用户列表 rabbitmqctl list_users
设置角色 rabbitmqctl set_user_tags admin administrator monitoring policymaker management

设置用户权限 rabbitmqctl set_permissions -p VHostPath admin ConfP WriteP ReadP
查询所有权限 rabbitmqctl list_permissions [-p VHostPath]
指定用户权限 rabbitmqctl list_user_permissions admin
清除用户权限 rabbitmqctl clear_permissions [-p VHostPath] admin

posted @ 2019-02-28 16:45 乌托邦眺望阅读(1299) 评论(0) 编辑收藏举报

刷新页面返回顶部

乌托邦眺望

——技术改变世界

rabbit MQ 消息队列

虚拟主机vhost

公告