随笔分类 - 中间件
摘要：先来简单了解下redis中提供的集群策略, 虽然redis有持久化功能能够保障redis服务器宕机也能恢复并且只有少量的数据损失，但是由于所有数据在一台服务器上，如果这台服务器出现硬盘故障，那就算是有备份也仍然不可避免数据丢失的问题。在实际生产环境中，我们不可能只使用一台redis服务器作为我们的缓
阅读全文
摘要：一：Redis的AOF是什么？ 以日志的形式来记录每个写操作（读操作不记录），将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
阅读全文
摘要：一：什么是redis的持久化 Redis 持久化 Redis 提供了不同级别的持久化方式: RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储. AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到
阅读全文
摘要：一、Redis知识系统观 Redis从应用维度有：缓存使用、集群运用、数据结构的巧妙使用； Redis从系统维度有：可以归类为三类： 高性能：线程模型、网络 IO 模型、数据结构、持久化机制； 高可用：主从复制、哨兵集群； 高拓展：Cluster 分片集群 Redis 为了高性能，从各方各面都进行了
阅读全文
摘要：一、什么是时间轮 时间轮这个技术其实出来很久了，在kafka、zookeeper等技术中都有时间轮使用的方式。 时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。把大批量的调度任务全部绑定到同一个调度器上，使用这一个调度器来进行所有任务的管理、触发、以及运行。所以时间轮的模型能够高效管理各种
阅读全文
摘要：一、什么是Lua脚本 Lua是一个高效的轻量级脚本语言（和JavaScript类似），用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua在葡萄牙语中是“月亮”的意思，它的logo形式卫星，寓意是Lua是一个“卫星语言”，能够方便地嵌入
阅读全文
摘要：官网：https://github.com/redisson/redisson/wiki/%E7%9B%AE%E5%BD%95 一、什么是分布式锁 1.1、什么是分布式锁 分布式锁，即分布式系统中的锁。在单体应用中我们通过锁解决的是控制共享资源访问的问题，而分布式锁，就是解决了分布式系统中控制共享资
阅读全文
摘要：一、redis简单应用 其实在写这个redis专题时我想了很久，我觉得redis没什么好说的，因为现在是个人都会用redis，但是我在写netty专题时发现，netty里面很多东西和概念有很多跟redis的很多应用和底层很相似和可以借鉴的地方，所以后来想想，还是写个专题来简单聊聊。按照我以前的习惯在
阅读全文
摘要：1、数据库存存储性能优化 在mysql的文章专题中我写过了关于传统关系型数据库的一些优化思路，整体来说，通过优化之后能够提升程序访问数据库的计算性能。但是还是有一些情况，即便是优化之后，使用传统关系型数据库无法解决的，比如。 当数据量达到TB级别时，传统关系型数据库基本做了分库分表，单表数据量也是非
阅读全文
摘要：一、简介 广播消费指的是：一条消息被多个consumer消费，即使这些consumer属于同一个ConsumerGroup,消息也会被ConsumerGroup中的每个Consumer都消费一次，广播消费中ConsumerGroup概念可以认为在消息划分方面无意义。 二、代码 /** * 发布订阅消
阅读全文
摘要：opic的有序消息已经成为mq的标配。而RocketMQ中是这样区分消息类型的， 普通消息也叫做无序消息，简单来说就是没有顺序的消息，而有序消息就是按照一定的先后顺序的消息类型。举个例子，producer 依次发送 order id 为 1、2、3 的消息到 broker，consumer 接到的消
阅读全文
摘要：一、修改 hosts 我是准备了两台虚拟机，所以分别在两台修改了hosts，用如下命令修改hosts vim /etc/hosts 分别在两台虚拟机上配置如下配置，ip是你自己虚拟机的ip 192.168.32.128 rocketmq-n1 192.168.32.129 rocketmq-n2 修
阅读全文
摘要：先创建Topic，创建命令是如下（在bin目录下执行） sh mqadmin updateTopic -t TopicTest -n 192.168.32.128:9876 -b localhost:10911 导入pom包 <dependency> <groupId>org.apache.rock
阅读全文
摘要：一、 RocketMQ是什么 官网地址：http://rocketmq.apache.org/ RocketMQ是由阿里捐赠给Apache的一款分布式、队列模型的开源消息中间件，经历了淘宝双十一的洗礼。其实了解点RocketMQ的人应该知道，他是借鉴了kafka和rabbitMQ里面很多东西用jav
阅读全文
摘要：一、 Kafka Streams 官网地址：https://kafka.apache.org/30/documentation/streams/ 1.1. 概述 1.1.1. Kafka Streams Kafka Streams是一个客户端库，用于构建任务关键型实时应用程序和微服务，其中输入和/或
阅读全文
摘要：一、 验证 1、进入bin目录 cd bin 2、ls查看脚本 会发现下面有很多脚本文件，由于我是要创建一个topic所有直接打开kafka-topics.sh脚本查看命令 打开脚本后发现里面有很多命令，里面命令都有提示，平时操作不知道怎么写时可以查看 由于我要创建的topic要设置分区和副本，所以
阅读全文
摘要：一、zookeeper集群搭建 1.1、版本查找 在百度中输入zookeeper download点击第一个就可以进入官网下载，我没下载最新版本，我是下载了稳定版本apache-zookeeper-3.6.3-bin.tar.gz；下载网址如下：https://dlcdn.apache.org/zo
阅读全文
摘要：接下来说说监控的相关内容。监控还是非常重要的，特别是在生产环境。磁盘满了，队列积压严重，如果我们无法提前知道，这是个很严重的问题；关于解决这些问题网上有很多解决方案。例如：Management UI，rabbitmqctl 命令和 REST API 以及使用 prometheus + grafana
阅读全文
摘要：首先贴出官网地址：https://kafka.apache.org/ 一、 简介 Kafka 是 linkedin 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。Kafka 对消息保存时根据 Topic 进行归类，发送消息者成为 Producer ，消息接受者成为 Consumer
阅读全文
摘要：一、可靠性问题分析 消息的可靠性投递是使用消息中间件不可避免的问题，不管是使用哪种MQ都存在这种问题，接下来要说的就是在RabbitMQ中如何解决可靠性问题；在前面 在前面说过消息的传递过程中有三个对象参与分别是：生产者、RabbitMQ(broker)、消费者；接下来就是要围绕这三个对象来分析消息
阅读全文
