work hard work smart

专注于Java后端开发。 不断总结，举一反三。
随笔 - 1158, 文章 - 0, 评论 - 153, 阅读 - 186万
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

07 2020 档案

RabbitMQ 消息如何保障100%的投递成功

摘要：一、消息如何保障100%的投递成功 1、什么是生成端的可靠性投递 保障消息的成功发出 保障MQ节点的成功接收 发送端收到MQ节点（Broker）确认应答 完善的消息进行补偿机制 方案1： 消息信息入库，对消息状态进行标记 BIZ DB： 业务DB MSG DB： 消息DB 这两个DB可以放在一个DB 阅读全文

posted @ 2020-07-29 15:40 work hard work smart 阅读(416) 评论(0) 推荐(0) 编辑

Linux 下安装RabbitMQ

摘要：使用腾讯云服务器 Linux Centos版本为： CentOS Linux release 7.5.1804 1、安装基础软件包 yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc g 阅读全文

posted @ 2020-07-29 14:21 work hard work smart 阅读(158) 评论(0) 推荐(0) 编辑

Elasticsearch logstsh测试数据新增和修改

摘要：1、将MySql中修改的数据同步到ES中 修改mysql中的数据 logstash中看到日志，修改的数据已经同步。 查看elasticsearch的数据 可以看到，ES中已经同步了MySql中的数据修改。 补充问题： 1、Logstash时间不是标准时间 2、Logstash与数据库时间相差8小时 阅读全文

posted @ 2020-07-20 10:53 work hard work smart 阅读(277) 评论(0) 推荐(0) 编辑

Elasticsearch logstsh同步mysql数据到ES中

摘要：1、准备： 1) 启动前面搭建的ES集群， 192.168.127.130， 192.168.127.128， 192.168.127.129 2) 准备要同步的数据库和数据 数据库所在的服务器IP为192.168.1.104 数据库端口为3306 数据库名shop，表名items items的表结 阅读全文

posted @ 2020-07-19 21:14 work hard work smart 阅读(314) 评论(0) 推荐(0) 编辑

ElasticSearch集群的文档读写原理

摘要：1、ES写操作原理（增加，修改，删除） 2、文档的读原理 阅读全文

posted @ 2020-07-18 22:36 work hard work smart 阅读(212) 评论(0) 推荐(0) 编辑

ElasticSearch集群脑裂现象

摘要：1、什么是脑裂 如果服务器网络中断或者服务器宏机，那么集群会有可能被划分为两个部分，各自与自己的master来管理，这就是脑裂。 假设ES集群，刚开始服务器1是主节点，其它两台为从节点 然后假设Master受到影响，挂机了。此时假设服务器2成为主节点，服务器2和服务器3成为一个新的集群。 接着服务器 阅读全文

posted @ 2020-07-18 22:28 work hard work smart 阅读(760) 评论(0) 推荐(0) 编辑

ElasticSearch 集群分片测试和集群宏机测试

摘要：1、es-node1是五角星，代表是主节点。圆圈代表从节点 2、创建索引 粗体的正方形代表主分片。 3、集群宏机测试 1) 停掉node-2 IP为128结尾 集群健康值变成黄色 然后Node-2恢复， 集群健康值变成绿色 2) 停掉IP130结尾 es-node1 主节点 这里node-3选为了主 阅读全文

posted @ 2020-07-18 22:06 work hard work smart 阅读(192) 评论(0) 推荐(0) 编辑

ElasticSerach 集群

摘要：1、ElasticSearch集群 单机ES可以用，但是一旦Down机，将导致ES不可用。这时候可以考虑ES集群，两台以上的ES就可以搭建集群。 主分片和副本分片不能分布在同一个服务器中，否则一个服务器宏机，该分片就没了 2、集群的安装 三台服务器的IP 192.168.127.130 (之前使用的 阅读全文

posted @ 2020-07-18 21:38 work hard work smart 阅读(195) 评论(0) 推荐(0) 编辑

ElasticSearch 深度搜索、滚动搜索，批量操作

摘要：1、什么是深度分页 深度分页其实就是搜索的深浅度，比如第1页，第2页，第10页，第20页，是比较浅的；第10000页，第20000页就是很深了。 假设我们要搜索9999到10009的10条数据 假设shard数有3个，每个shard有10万条数据 如此一来，搜索得太深，就会造成性能问题，会消耗内存和 阅读全文

posted @ 2020-07-18 16:53 work hard work smart 阅读(630) 评论(0) 推荐(0) 编辑

ElasticSearch搜索

摘要：1、准备数据 1) 创建索引 2) 创建mapping JSON数据如下 { "properties": { "id": { "type": "long" }, "age": { "type": "integer" }, "username": { "type": "keyword" }, "nic 阅读全文

posted @ 2020-07-18 12:39 work hard work smart 阅读(228) 评论(0) 推荐(0) 编辑

Elasticsearch 建立ik中文分词器和自定义分词

摘要：一、建立ik中文分词器 1、下载ik中文分词器 进入https://github.com/medcl/elasticsearch-analysis-ik 使用第一种方式安装，进入https://github.com/medcl/elasticsearch-analysis-ik/releases 选 阅读全文

posted @ 2020-07-17 17:49 work hard work smart 阅读(565) 评论(0) 推荐(0) 编辑

ElasticSearch 分词与内置分词

摘要：1、什么是分词 把文本转换为一个个的单词，分词称之为analysis. ES默认只对英文语句做分词，中文不支持，每个中文汉字都会被拆分 2、获得分词 http://192.168.127.130:9200/_analyze ES内置分词器： analyzer standard： 默认标准分词器，大写 阅读全文

posted @ 2020-07-17 11:15 work hard work smart 阅读(302) 评论(0) 推荐(0) 编辑

ElasticSearch 文档乐观锁控制 if_seq_no 与 _if_primary_term

摘要：当有多个线程并发修改数据时，这时候使用乐观锁只能有一个修改成功 http://192.168.127.130:9200/my_doc/_doc/3001?if_seq_no=28&if_primary_term=1 28为上一次_seq_no的值 查询修改后的数据 版本元数据 _seq_no: 文档 阅读全文

posted @ 2020-07-17 10:48 work hard work smart 阅读(570) 评论(0) 推荐(0) 编辑

ElasticSearch 文档的基本操作 添加文档与自动映射

摘要：1、创建索引 2、创建文档 使用PostMan调用 http://192.168.127.130:9200/my_doc/_doc/1 -> http://192.168.127.130:9200/{索引名称}/_doc/{索引ID} _doc 代表创建文档 1为索引ID，是指索引在ES中的id，而 阅读全文

posted @ 2020-07-16 17:50 work hard work smart 阅读(456) 评论(0) 推荐(0) 编辑

Linux 下ElasticSearch安装

摘要：一、ES的安装 1、解压 官网下载地址太慢，建议使用百度云盘下载地址： https://blog.csdn.net/weixin_37281289/article/details/101483434 这里使用的是es-7.4.2版本 elasticsearch-7.4.2-linux-x86_64. 阅读全文

posted @ 2020-07-13 15:25 work hard work smart 阅读(276) 评论(0) 推荐(0) 编辑

SpringBoot集成Redis集群

摘要：只需要修改为如下集群模式的配置 spring: redis: #Redis 集群模式 #password: larry123456 cluster: nodes: 192.168.127.128:6379,192.168.127.129:6379,192.168.127.130:6379,192.1 阅读全文

posted @ 2020-07-05 21:51 work hard work smart 阅读(353) 评论(0) 推荐(0) 编辑

Redis 集群( 三主三从)实践

摘要：1、Redis 三主三从集群架构 2、单台Redis节点配置修改 cd /usr/local/redis/working 1) 先将之前redis生成的dump.rdb和appendonly.aof 删除 rm appendonly.aof rm dump.rdb 2) 配置redis.conf 文 阅读全文

posted @ 2020-07-05 21:31 work hard work smart 阅读(506) 评论(0) 推荐(0) 编辑

SpringBoot集成哨兵模式

摘要：springboot集成 redis 哨兵模式配置如下 spring: redis: #Redis 哨兵模式 password: larry123456 sentinel: master: larry-master nodes: 192.168.127.130:26379,192.168.127.1 阅读全文

posted @ 2020-07-05 12:34 work hard work smart 阅读(1330) 评论(0) 推荐(0) 编辑

Redis 哨兵工作原理和常用命令介绍

摘要：一、哨兵原理介绍 1、哨兵部署图 2、哨兵故障转移 这里设置quorum为2，当有两个哨兵任务master挂了，才确认master挂了。 因为由于网络抖动，只有一个哨兵检测到master挂了，而另外一个哨兵检测到master正常，这时候master是正常的。 3、哨兵选举leader（Redis主挂 阅读全文

posted @ 2020-07-05 10:49 work hard work smart 阅读(1698) 评论(0) 推荐(0) 编辑

Redis 哨兵机制和实现

摘要：在前面的1主2从架构中Redis 主从架构实践 CentOS 64-bit-basic 192.168.127.130 redis(主) CentOS 64-bit 192.168.127.128 redis(从) CentOS 64-bit_2 192.168.127.129 redis(从) 如 阅读全文

posted @ 2020-07-04 23:35 work hard work smart 阅读(239) 评论(0) 推荐(0) 编辑

Redis 缓存过期机制和内存淘汰管理机制

摘要：一、Redis缓存过期机制有如下两种 (主动) 定期删除 (被动) 惰性删除 1、(主动) 定期删除 默认1秒钟10次检查.每次检查的时候，如果发现过期，则进行删除。 查看redis.conf 文件 2、(被动) 惰性删除 客户端请求的是一个key，如果检测到已经过期，则将该key从内存中清除掉。 阅读全文

posted @ 2020-07-04 17:06 work hard work smart 阅读(369) 评论(0) 推荐(0) 编辑

Redis无磁盘化复制

摘要：上一篇Redis 主从架构实践介绍到redis主从同步是通过磁盘，将rdb文件从redis主复制redis从的。 这一篇我们介绍无磁盘化复制 通过内存之间的传输，通过socket实现。 磁盘有普通机械硬盘和SSD固定硬盘。如果是普通机械硬盘，硬盘读写效率低下。这样就出现了无磁盘化复制，从而提高了效率 阅读全文

posted @ 2020-07-04 16:49 work hard work smart 阅读(622) 评论(0) 推荐(0) 编辑

Redis 主从架构实践

摘要：1、主从原理 启动Redis Master。 随后配置Redis Slave，启动Redis Slave。Redis Slave发送一条ping指令。Redis Master将RDB文件复制到Redis Slave。 Redis Slave将复制过来的RDB文件加到内存中。这个过程就是初始过程。然后 阅读全文

posted @ 2020-07-04 15:51 work hard work smart 阅读(251) 评论(0) 推荐(0) 编辑

Redis 持久化机制

摘要：Redis的持久化机制分为RDB和AOF RDB： Redis DataBase AOF： Append Only File 一、RDB方式 1、什么是RDB RDB： 每隔一段时间，把内存中的数据写入磁盘的临时文件，作为快照，恢复的时候把快照文件读进内存。 如果宏机重启，那么内存里的数据肯定会没有 阅读全文

posted @ 2020-07-04 12:37 work hard work smart 阅读(119) 评论(0) 推荐(0) 编辑

Redis发布(pub)和订阅(sub)

摘要：1、Redis的发布和定义 在三个窗口打开redis客户端 第二、第三个窗口用户订阅消息。 第二个窗口订阅 SUBSCRIBE food weather 第三个窗口订阅SUBSCRIBE food 第一个窗口作为发布者 当发布fish时，第二和第三个窗口的订阅者都收到了。 当发布weather时，只 阅读全文

posted @ 2020-07-02 17:59 work hard work smart 阅读(190) 评论(0) 推荐(0) 编辑

Spring Boot下Redis使用

摘要：首先新建一个Spring Boot工程 1.pom.xml增加jedis <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.8.2</version> </dependenc 阅读全文

posted @ 2020-07-01 16:37 work hard work smart 阅读(183) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示