MQ

1.消息队列作用

1.1.流量消峰

举个例子，如果订单系统最多能处理一万次订单， 这个处理能力应付正常时段的 下单时绰绰有余，正常时段我们下单1秒后就能返回结果。
但是在高峰期，如果有两万次下单操作系统是处理不了的，只能限制订单超过一万后不允许用户下单。
使用消息队列做缓冲，我们可以取消这个限制，把1秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。

1.2.应用解耦

以电商应用为例，应用中有订单系统、库存系统、物流系统、支付系统。
用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障，都会造成下单操作异常。
当转变成基于消息队列的方式后，系统间调用的问题会减少很多，比如物流系统因为发生故障,需要几分钟来修复。
在这几分钟的时间里，物流系统要处理的内存被缓存在消息队列中，用户的下单操作可以正常完成。
当物流系统恢复后，继续处理订单信息即可，中单用户感受不到物流系统的故障，提升系统的可用性。

1.3.异步处理

有些服务间调用是异步的，例如A调用B, B需要花费很长时间执行，但是A需要知道B什么时候可
以执行完，一般有两种方式, A过一段时间去调用B的查询api查询。或者A提供一个callback api,B执行完之后调用api通知A服务。
这两种方式都不是很优雅，使用消息总线，可以很方便解决这个问题,
A调用B服务后,只需要监听B处理完成的消息，当B处理完成后，会发送一条消息给 MQ, MQ会将此消息转发给A服务。
这样A服务既不用循环调用B的查询api,也不用提供callback api。同样B服务也不用做这些操作。A服务还能及时的得到异步处理成功的消息。

2.类型

2.1.ActiveMQ

优点:单机吞吐量万级，时效性ms级,可用性高，基于主从架构实现高可用性，消息可靠性较低的概率丢失数据
缺点:官方社区现在对ActiveMQ 5.x维护越来越少,高吞吐量场景较少使用。

2.2. Kafka

大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka,这款为大数据而生的消息中间件,
以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥
着举足轻重的作用。目前已经被LinkedIn, Uber, Twitter, Netflix 等大公司所采纳。
优点:性能卓越，单机写入TPS约在百万条秒,最大的优点，就是吞吐量高。时效性ms级可用性非常高，kafka 是分布式的，1个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用
消费者采用Pull方式获取消息,消息有序,通过控制能够保证所有消息被消费且仅被消费1次;
有优秀的第三方Kafka Web管理界面Kafka-Manager;
在日志领域比较成熟,被多家公司和多个开源项目使用;功能支持:
功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模使用
缺点: Kafka 单机超过64个队列/分区，Load会发生明显的飙高现象，队列越多，load 越高
发送消息响应时间变长，使用短轮询方式，实时性取决于轮询间隔时间，消费失败不支持重试;
支持消息顶序，但是一台代理宕机后，就会产生消息乱序，社区更新较慢;

2.3.RocketMQ

RocketMQ出自阿里巴巴的开源产品，用Java语言实现，在设计时参考了Kafka, 并做出了自己的一些改进。
被阿里巴巴应用在订单,交易,充值,流计算，消息推送，日志流式处理, binglog 分发等场景。
优点:单机吞吐量十万级,可用性非常高，分布式架构,消息可以做到0丢失,MQ功能较为完善，还是分布式的，扩展性好，支持10亿级别的消息堆积，不会因为堆积导致性能下降
源码是java我们可以自己阅读源码，定制自己公司的MQ
缺点:支持的客户端语言不多，目前是java及C++,其中C++不成熟;
社区活跃度一般,核心中去实现JMS等接口，有些系统要迁移需要修改大量代码

2.4. RabbitMQ

2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之1。
优点:由于erlang语言的高井发特性，性能较好;吞吐量到万级，MQ功能比较完备,健壮、稳定、易用、跨平台、支持多种语言如: Python. Ruby. .NET、 Java. JMS、 C. PHP、 ActionSaript.
等,支持AJAX文档齐全;开源提供的管理界面非常棒,用起来很好用,社区活跃度高;更新频率相当高
缺点:商业版需要收费,学习成本较高

3.MQ的选择

3.1.Kafka

Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，适合产生大量数据的互联网服务的数据收集业务。
大型公司建议可以选用,如果有日志采集功能,肯定是首选kafka了。

3.2. RocketMQ

天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时，后端可能无法及时处理的情况。
RoketMQ 在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验，如果你的业务有上述并发场景，建议可以选择RocketMQ.

3.3.RabbitMQ

结合erlang语言本身的并发优势，性能好时效性微秒级，社区活跃度也比较高,管理界面用起来十分方便，如果你的数据量没有那么大，中小型公司优先选择功能比较完备的RabbitMQ。

4.重复消费

4.1 幂等性保证

幂等性，通俗点说，就一个数据，或者一个请求，给你重复来多次，你得确保对应的数据是不会改变的，不能出错。

• 比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入了，update 一下好吧。
• 比如你是写 Redis，那没问题了，反正每次都是 set，天然幂等性。
• 比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据的时候，
  里面加一个全局唯一的 id，类似订单 id 之类的东西，然后你这里消费到了之后，先根据这个 id 去比如 Redis 里查一下，之前消费过吗？
  如果没有消费过，你就处理，然后这个 id 写Redis。如果消费过了，那你就别处理了，保证别重复处理相同的消息即可。
• 比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束了，重复
  数据插入只会报错，不会导致数据库中出现脏数据。

5.消息丢失

5.1 场景

• 生产者丢失
  生产者将数据发送到 RabbitMQ 的时候，可能数据就在半路给搞丢了，因为网络问题啥的，都有可能。
  此时可以选择用 RabbitMQ 提供的事务功能，就是生产者发送数据之前开启 RabbitMQ 事务channel.txSelect ，然后发送消息，如果消息没有成功被 RabbitMQ 接收到，那么生产者会
  收到异常报错，此时就可以回滚事务 channel.txRollback ，然后重试发送消息；如果收到了消息，那么可以提交事务 channel.txCommit 。
  但是，RabbitMQ 事务机制（同步）一搞，基本上吞吐量会下来，因为太耗性能。
  所以一般来说，如果你要确保说写 RabbitMQ 的消息别丢，可以开启 confirm 模式，在生产者那里设置开启 confirm 模式之后，你每次写的消息都会分配一个唯一的 id，然后如果写入
  了 RabbitMQ 中，RabbitMQ 会给你回传一个 ack 消息，告诉你说这个消息 ok 了。
  如果RabbitMQ 没能处理这个消息，会回调你的一个 nack 接口，告诉你这个消息接收失败，你可以重试。而且你可以结合这个机制自己在内存里维护每个消息 id 的状态，如果超过一定时间还
  没接收到这个消息的回调，那么你可以重发。
  事务机制和 confirm 机制最大的不同在于，事务机制是同步的，你提交一个事务之后会阻塞在那儿，但是 confirm 机制是异步的，你发送个消息之后就可以发送下一个消息，然后那
  个消息 RabbitMQ 接收了之后会异步回调你的一个接口通知你这个消息接收到了。
  所以一般在生产者这块避免数据丢失，都是用 confirm 机制的。
• rabbitMQ丢失
  就是 RabbitMQ 自己弄丢了数据，这个你必须开启 RabbitMQ 的持久化，就是消息写入之后会持久化到磁盘，哪怕是 RabbitMQ 自己挂了，恢复之后会自动读取之前存储的数据，一般数
  据不会丢。除非极其罕见的是，RabbitMQ 还没持久化，自己就挂了，可能导致少量数据丢失，但是这个概率较小。
  设置持久化有两个步骤：
  创建 queue 的时候将其设置为持久化
  这样就可以保证 RabbitMQ 持久化 queue 的元数据，但是它是不会持久化 queue 里的数据的。
  第二个是发送消息的时候将消息的 deliveryMode 设置为 2
  就是将消息设置为持久化的，此时 RabbitMQ 就会将消息持久化到磁盘上去。
  必须要同时设置这两个持久化才行，RabbitMQ 哪怕是挂了，再次重启，也会从磁盘上重启恢复queue，恢复这个 queue 里的数据。
  注意，哪怕是你给 RabbitMQ 开启了持久化机制，也有一种可能，就是这个消息写到了RabbitMQ 中，但是还没来得及持久化到磁盘上，结果不巧，此时 RabbitMQ 挂了，就会导致内存里的一点点数据丢失。
  所以，持久化可以跟生产者那边的 confirm 机制配合起来，只有消息被持久化到磁盘之后，
  才会通知生产者 ack 了，所以哪怕是在持久化到磁盘之前，RabbitMQ 挂了，数据丢了，生产者收不到 ack ，你也是可以自己重发的。
• 消费端丢失
  RabbitMQ 如果丢失了数据，主要是因为你消费的时候，刚消费到，还没处理，结果进程挂了，比如重启了，那么就尴尬了，RabbitMQ 认为你都消费了，这数据就丢了。
  这个时候得用 RabbitMQ 提供的 ack 机制，简单来说，就是你必须关闭 RabbitMQ 的自动 ack ，可以通过一个 api 来调用就行，然后每次你自己代码里确保处理完的时候，再在程序里 ack 一把。这样的话，如果你还没处理完，不就没有 ack 了？那 RabbitMQ 就认为你还没处理完，这个时候 RabbitMQ 会把这个消费分配给别的 consumer 去处理，消息是不会丢的

6.消息顺序性

• 保证 生产者-MQServer-消费者 是一对一关系
  
  并行度就会成为消息系统的瓶颈(吞吐量不够)
  更多的异常处理，比如:只要消费端出现问题，就会导致整个处理流程阻塞，我们不得不花费更多的精力来解决阻塞的问题。通过合理的设计或者将问题分解来规避。
  不关注乱序的应用实际大量存在
  队列无序并不意味着消息无序所以从业务层面来保证消息的顺序而不仅仅是依赖于消息系统，是一种更合理的方式，
• 拆分多个 queue，每个 queue 一个 consumer，就是多一些 queue 而已，确实是麻烦点；
  或者就一个 queue 但是对应一个 consumer，然后这个 consumer 内部用内存队列做排队，然后分发给底层不同的 worker 来处理。