随笔- 78
文章- 0
评论- 0
阅读-
20140
随笔分类 - 消息队列
消息队列的延时以及过期失效，消息队列消息积压及占满问题解决思路
摘要：大量消息在 mq 里积压了几个小时了还没解决 几千万条数据在 MQ 里积压了七八个小时，从下午 4 点多，积压到了晚上 11 点多。这个是我们真实遇到过的一个场景，确实是线上故障了，这个时候要不然就是修复 consumer 的问题，让它恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不能在面试
阅读全文
消息队列数据丢失及可靠性
摘要：用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。 如果说你这个是用 MQ 来传递非常核心的消息，比如说计费、扣费的一些消息，那必须确保这个 MQ 传递过程中绝对不会把计费消息给弄丢。 数据的
阅读全文
消息队列重复消费的问题解决方案
摘要：首先，比如 RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题，正常。因为这问题通常不是 MQ 自己保证的，是由我们开发来保证的。挑一个 Kafka 来举个例子，说说怎么重复消费吧。 Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offse
阅读全文
消息队列部署选择
摘要：部署是单机还是集群呢？你们高可用是怎么保证的呢？ 如果有人问到你 MQ 的知识，高可用是必问的。上一讲提到，MQ 会导致系统可用性降低。所以只要你用了 MQ，接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。 RabbitMQ 的高可用性 RabbitMQ 是比较有代表性的，因为是基于
阅读全文
各个消息队列功能对比及选择
摘要：Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据
阅读全文
消息队列优缺点
摘要：优点： 解耦、异步、削峰 缺点： １.系统可用性降低 系统引入的外部依赖越多，越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了，ABCD 四个系统还好好的，没啥问题，你偏加个 MQ 进来，万一 MQ 挂了咋整？MQ 一挂，整套系统崩溃，你不就完了？如何保证消息队列的高可用？ 系统复
阅读全文
消息队列
摘要：一、定义 消息队列是为了分配任务，避免大量的并发请求过多过快的消耗服务器资源，从而优化产品的性能，这样的话，多线程或者多进程，又或者协程等等都是可以达到优化的目的 二、类型 1、Queue:先进先出，后进后出 from queue import Queue() #1、实例化Queue对象 q = Q
阅读全文
