MQ消息中间件 + JMS + AMQP 理论知识
学习是一个循序渐进的过程,先别着急学习 RabbitMQ ,我们先了解一些关于MQ消息中间件的基础知识,明白MQ在业务中的使用场景
MQ消息中间件及使用场景
1、什么是MQ消息中间件
MQ消息中间件全称(MessageQueue),主要用于程序之间相互通信,实现 异步+解耦 效果。
如下图所示,一个用户注册业务涉及到多个微服务,如果没有使用MQ,业务需要按序执行每个步骤,同步调用每个关联微服务,最终注册完成存储到数据库,这样设计的一个用户注册业务是无法被接受的,耗时长,服务耦合。
对业务场景进行分析之后,引入了MQ消息队列,用户注册核心业务简化为 用户注册 --》存储数据库,同时将注册信息放入消息队列中,供其他微服务自取,最终完成整个完整的用户注册业务,优点:耗时短、微服务解耦、最终结果一致
2、使用场景
- 解耦:例如可以将订单系统与物流系统解耦
- 异步:用户注册 --》发送邮件,初始化用户信息
- 削峰:秒杀、日志处理
- 跨平台、多语言
- 支持分布式事务,实现最终一致性
- RPC 调用上下游对接,数据源变动时通知下游系统
什么是JMS消息服务
JMS是一种与厂商无关的 API,用来访问消息收发系统消息,它类似于JDBC(Java Database Connectivity)。这里,JDBC 是可以用来访问许多不同关系数据库的 API。JMS是由Sun公司早期提出的消息标准,旨在为java应用提供统一的消息操作,包括create、send、receive。
JMS是针对java语言的,微软开发了NMS(.NET消息传递服务)
什么是 AMQP 消息协议
AMQP(advanced message queuing protocol)在2003年时被提出,最早用于解决金融领不同平台之间的消息传递交互问题,就是是一种协议,兼容JMS。更准确说的链接协议 binary- wire-level-protocol 直接定义网络交换的数据格式,类似http。具体的产品实现比较多,RabbitMQ就是其中一种。
AMQP 与 JMS 的区别?
- AMQP不从API层进行限定,直接定义网络交换的数据格式,这使得实现了AMQP的provider天然性就是跨平台,比如Java语言产生的消息,可以用其他语言比如python的进行消费
- AQMP可以用http来进行类比,不关心实现接口的语言,只要都按照相应的数据格式去发送报文请求,不同语言的client可以和不同语言的server进行通讯
- JMS消息类型:TextMessage/ObjectMessage/StreamMessage等
- AMQP消息类型:Byte[]
科普 MQTT
MQTT: 消息队列遥测传输(Message Queueing Telemetry Transport )
背景
我们有面向基于Java的企业应用的JMS和面向所有其他应用需求的AMQP,那这个MQTT是做啥的?
原因
MQTT主要是是物联网(IOT)中大量的使用,计算性能不高的设备不能适应AMQP上的复杂操作,MQTT它是专门为小设备设计的
特性
- 内存占用低,为小型无声设备之间通过低带宽发送短消息而设计
- 不支持长周期存储和转发,不允许分段消息(很难发送长消息)
- 支持主题发布-订阅、不支持事务(仅基本确认)
- 消息实际上是短暂的(短周期)
- 简单用户名和密码、不支持安全连接、消息不透明
业界主流消息队列与技术选型
业界主流的消息队列:Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ
-
ActiveMQ:http://activemq.apache.org/
-
Apache出品,历史悠久,支持多种语言的客户端和协议,支持多种语言Java, .NET, C++ 等
-
基于JMS Provider的实现
-
缺点:吞吐量不高,多队列的时候性能下降,存在消息丢失的情况,比较少大规模使用
-
-
Kafka:http://kafka.apache.org/
-
是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理大规模的网站中的所有动作流数据(网页浏览,搜索和其他用户的行动),副本集机制,实现数据冗余,保障数据尽量不丢失;支持多个生产者和消费者
-
类似MQ,功能较为简单,主要支持简单的MQ功能
-
缺点:不支持批量和广播消息,运维难度大,文档比较少, 需要掌握Scala
-
-
RocketMQ:http://rocketmq.apache.org/
- 阿里开源的一款的消息中间件, 纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点, 性能强劲(零拷贝技术),支持海量堆积, 支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等,在阿里内部进行大规模使用,适合在电商,互联网金融等领域
- 基于JMS Provider的实现
- 缺点:社区相对不活跃,更新比较快,纯java支持
-
RabbitMQ:http://www.rabbitmq.com/
- 是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、C、用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不错
- 缺点:使用Erlang开发,阅读和修改源码难度大