随笔分类 - 消息中间件
解耦与高并发的最佳选择
摘要：实时统计，也可以理解为流式计算，一个输入流，一个输出流，源源不断。 Kafka Stream Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点 Kafka Str
阅读全文
摘要：# 应用场景 * 用户下单5分钟后,给他发短信 * 用户下单30分钟后，如果用户不付款就自动取消订单 # kafka无死信队列 kafka本身没有这种延时队列的机制，像rabbitmq有自己的死信队列，当一些消息在一定时间不消费时会发到死信队列，由死信队列来处理它们，上面的两个需求如果是rabbit
阅读全文
摘要：看着题目，有点一头污水吧，事实上，没有经历过，很难去说`ApplicationContextAware`在什么时候会用到，直接在一个bean对象里，你可以直接使用构造方法注入或者Autowired属性注入的方式来使用`其它的bean对象`，这在springboot里是非常自然的，也是天然支持的；但如
阅读全文
摘要：回到占占推荐博客索引 最近整理了一下近10年自己写的关于rabbitmq的文章，希望对各位有所帮助. rabbitMQ目录 RabbitMQ~开篇与环境部署 Rabbitmq~linux环境的部署 RabbitMQ~一些术语和最消息的生产 RabbitMQ~说说Exchange的几种模式 Rabbi
阅读全文
摘要：今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤： 查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中
阅读全文
摘要：kafka支持一次拉取批量的消息，max.poll.records这个配置用来设置一次拉取的消息数量，可以自己定义KafkaListenerContainerFactory来开启消费者批量监听消息的功能. KafkaBlukConfig配置 @Configuration public class K
阅读全文
摘要：这是一个基于消息的分布式事务的一部分,主要通过消息来实现,生产者把消息发到队列后,由消费方去执行剩下的逻辑,而当消费方处理失败后,我们需要进行重试,即为了最现数据的最终一致性,在rabbitmq里,它有消息重试和重试次数的配置,但当你配置之后,你的TTL达到 后,消息不能自动放入死信队列,所以这块需
阅读全文
摘要：编程语言集成了发布订阅 很多编程语言框架里都提供了发布订阅的组件，或者叫事件处理机制，而spring框架对这个功能也有支持，主要使用 实现订阅，使用 使用发布。这种系统集成的我们先叫它“集成组件” 与语言无关的消息队列 事实上，发布订阅真的与开发语言没有什么关系，所以出现了另一种产品，消息中间件，或
阅读全文
摘要：基于队列和基于消息的TTL TTL是time to live 的简称，顾名思义指的是消息的存活时间。rabbitMq可以从两种维度设置消息过期时间，分别是队列和消息本身。 队列消息过期时间 Per Queue Message TTL： 通过设置队列的x message ttl参数来设置指定队列上消息
阅读全文
摘要：广播fanout 主要是将一个消息，分发到绑定了它的队列上，而这些队列如 自己去建立和绑定！ 对生产者是解耦的 生产者不需要关心消费者有多少，消费者如果需要这种消息，只需要把队列绑定到exchange上即可 流程 1. 打开rabbitmq的ui 2. 建立两个队列fanout1,fanout2 3
阅读全文
摘要：rabbitmq里有一些概念我们要清楚，如vhost,channel,exchange,queue等，而前段时间在部署rabbitmq环境时启用了虚拟主机vhost，感觉他主要是起到了消息隔离的作用,下面分别再说一下它们的知识。 VHost vhost去做第一层的区分，虚拟主机，工作组等，它默认是/
阅读全文
摘要：之前写过在windows环境上部署rabbitmq,这回介绍在centos上对这个消息中间件进行部署的过程 一 下载和解压 wget http://www.rabbitmq.com/releases/rabbitmq-server/current/rabbitmq-server_3.6.10-1.d
阅读全文
摘要：消息的过期时间 我们在使用Kafka存储消息时，如果已经消费过了，再永久存储是一种资源的浪费，所有，kafka为我们提供了消息文件的过期策略，可以通过配置server.properies来实现# vi config/server.properies修改下面的代码log.roll.hours=1log
阅读全文
摘要：今天连搭了zookeeper和kafka的环境，并部署成功，但在.net驱动的操作下，没有消费成功，原因何在？ 第一感觉也就是这向个原因了，于是自己调试了一下，最后分别进行了验证 防火墙 systemctl status firewalld zookeeper没运行？ netstat -tunlp|
阅读全文
摘要：在Centos上安装和部署完成kafka之后，我们就可以向服务端推消息和消费它了，今天主要聊几个常用的命令，比建立topic,从broken显示所有topics列表，向broken发消息，从broken拉消息等。 建立topic 列出所有topic 向broken推消息 从broken拉消息 上面几
阅读全文
摘要：概念 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析
阅读全文
摘要：介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错
阅读全文
摘要：定义 广播消息是指生产者产生的消息将分发给所有订阅这个消息的消费者,而普通的模式是:一批消息可以被多个人共同消费,如consumer1可能消费1,3,5记录,而consumer2可能消费的是2,4,6这种模块就是共同消费模块;而今天说的是广播消息,它是指一些消息同时被推送到多个订阅者,而这些订阅者收
阅读全文
摘要：这个文章主要介绍简单的消费者的实现,rabbitMQ实现的消费者可以对消息服务器进行实时监听,当有消息(生产者把消息推到服务器上之后),消费者可以自动去消费它,这通常是开启一个进程去维护这个对话,它与消息服务器保持一个TCP的长连接,整个这个过程于rabbitMQ为我们提供,程序开发人员只需要实现自
阅读全文
摘要：RabbitMQ里的Exchange提供了四种模式,或者叫它类型,它们是fanout,direct,topic和header,其中前三种模式我们用的比较多,所有我们主要介绍前3种! Direct 任何发送到Direct Exchange的消息都会被转发到RouteKey中指定的Queue。 1.一般
阅读全文