摘要: logstash数据同步 简介 集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中 官网 https://www.elastic.co/cn/logstash/ 下载地址 https://www.e 阅读全文
posted @ 2022-10-03 05:23 彼岸舞 阅读(96) 评论(0) 推荐(0) 编辑
摘要: SpringBoot整合Elasticsearch集群 每个版本的整合方式不一样, 具体的使用的时候, 直接去找官网的文档就好 为什么这个说呢, 因为我看之前的版本用的直接是RightHigh的客户端 然后呢, 又用了ElasticTemplate 接着又是ElasticRestTemplate 以 阅读全文
posted @ 2022-10-03 05:20 彼岸舞 阅读(219) 评论(0) 推荐(0) 编辑
摘要: ES集群的文档读写原理 文档写原理 文档读原理 阅读全文
posted @ 2022-10-03 05:17 彼岸舞 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 集群脑裂 什么是集群脑裂 如果发生网络中断或者服务器宕机,那么集群会有可能被划分为两部分,各自有自己的master来管理,那么这就是脑裂。 集群脑裂解决方案 master主节点要经过多个master节点共同选举后才能成为新的主节点。这就跟班级里选举班长一样,并不是你1个人能决定的,需要班里半数以上的 阅读全文
posted @ 2022-10-03 05:16 彼岸舞 阅读(62) 评论(0) 推荐(0) 编辑
摘要: ElasticSearch集群 搭建Elasticsearch集群 准备3台虚拟机 IP规划 192.168.247.142 192.168.247.143 192.168.247.144 三台虚拟机搭建ES 建议采用新的机器, 我用了之前的机器导致, 配置是对的, 但是三个节点就是不组成集群... 阅读全文
posted @ 2022-10-03 05:15 彼岸舞 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 批量操作 bulk 基本语法 bulk操作和以往的普通请求格式有区别, 不要格式化JSON, 不然就不在同一行了, 这个需要注意 {action:{metadata}}代表批量操作的类型, 可以是新增, 删除, 修改 \n是每行结尾必须填写的一个规范, 每一行包括最后一行都要写, 用于ES 解析(不 阅读全文
posted @ 2022-10-03 05:13 彼岸舞 阅读(124) 评论(0) 推荐(0) 编辑
摘要: DSL搜索 词库准备 骚年 帅气 新闻网 新闻 闻网 新 闻 网 索引准备 PUT /shop { "settings": { "number_of_shards": 5, "number_of_replicas": 0 } } POST /shop/_mapping { "properties": 阅读全文
posted @ 2022-10-03 05:12 彼岸舞 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 模拟数据 增删改数据 POST /my_doc/_doc/ { "id": 1001, "name": "imooc-1", "desc": "imooc is very good, 慕课网非常牛!", "create_date": "2019-12-24" } POST /my_doc/_doc/ 阅读全文
posted @ 2022-10-03 05:02 彼岸舞 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 分词器 分词器汇总 分词器 拆分方式 standard 空格 simple 非字母 whitespace 空格 stop 去除英文的助词(a the is) keyword 不拆分(关键词) ik_max_word 最大词汇拆分 ik_smart 最小词汇拆分 默认分词器 POST /_analyz 阅读全文
posted @ 2022-10-03 04:59 彼岸舞 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 查询[ES] 查询ES信息 GET / 查询集群健康状态 GET /_cluster/health 增删改索引 创建索引并指定主分片和副本数 PUT /my_doc { "settings": { "number_of_shards": 1, "number_of_replicas": 0 } } 阅读全文
posted @ 2022-10-03 04:57 彼岸舞 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 基于Linux安装ES 下载官网 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 使用7.4.2 安装 上传到Linux # 解压 tar -zxvf elasticsearch-7.4.2-linux-x86_64.t 阅读全文
posted @ 2022-10-03 04:53 彼岸舞 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 什么是分布式搜索引擎 搜素引擎 分布式存储与搜索 Lucene, Solr, ES 倒排序索引 Lucene是类库 solr基于Lucene ES基于Lucene ES核心术语 ES集群架构原理 倒排索引 根据词查询文档ID 阅读全文
posted @ 2022-10-03 04:50 彼岸舞 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 单点登录 相同一级域名的单点登录 通过Token+Redis实现分布式会话, 可以在相同一级域名下实现单点登录, 那么如何实现跨一级域名的单点登录呢? 不同一级域名的单点登录 一级域名不一样, 如何实现单点登录呢? 比如.jd.com和.tb.com要实现会话共享, 这个时候由于一级域名不同, co 阅读全文
posted @ 2022-10-03 04:48 彼岸舞 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 分布式会话的存储: 将用户信息缓存到Redis中, 然后前端用户通过Token存储到Cookie中就可以实现 分布式会话的控制: 通过SpringIntercepter实现, 校验用户登录的Token是否和缓存中一致 分布式会话的访问时间重置, 在拦截器中当验证通过时刷新Redis中的过期时间, 俗 阅读全文
posted @ 2022-10-03 04:46 彼岸舞 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 动静分离会话 用户请求服务端, 由于动静分离, 前端发起HTTP请求, 不会携带任何状态, 当用户第一次请求以后, 我们手动设置一个Token, 作为用户会话,存入Redis中, 如此作为redis-session, 并且这个Token设置后放入前端cookie中(app或者小程序可以放入缓存), 阅读全文
posted @ 2022-10-03 04:42 彼岸舞 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 为何使用无状态会话 有状态会话都是放在服务器, 一旦用户会话多, 那么内存就会出现瓶颈, 而无状态会话可以采用介质, 前端可以使用Cookie(app可以使用缓存)保存用户ID或者Token, 后端比如Redis, 相应的用户会话都会存放入Redis中进行管理, 如此, 对应用部署的服务器就不会造成 阅读全文
posted @ 2022-10-03 04:41 彼岸舞 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 分布式会话 什么是会话 会话Session代表的是客户端与服务器的一次交互过程,这个过程可以是连续也可以是时断时续的。曾经的Servlet时代(jsp),一旦用户与服务端交互,服务器用户创建一个session,同时前端会有一个jsessionid,每次交互都会携带。如此一来,服务器只要在接到用户请求 阅读全文
posted @ 2022-10-03 04:39 彼岸舞 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 缓存穿透解决方案 设置空值 布隆过滤器 优点 可以将存在的缓存, 位置设置为1, 然后当不存在的参数过来的时候, 会匹配到0上,这样就会直接返回不存在 缺点 存在错误判断, hash冲突 删除缓存时无法删除指定的1的位置, 应为存在多数据,同一hash, 所以无法删除 增加开发成本, 维护成本提高 阅读全文
posted @ 2022-10-03 04:36 彼岸舞 阅读(44) 评论(0) 推荐(0) 编辑
摘要: SpringBoot整合Redis[哨兵版] 修改配置文件 server: port: 8080 spring: application: name: redis redis: # host: 192.168.247.141 # port: 6379 password: 123456 databas 阅读全文
posted @ 2022-10-03 04:33 彼岸舞 阅读(624) 评论(0) 推荐(0) 编辑
摘要: Redis架构演进 一主二从 这也是常用的架构,,MASTER用于写服务,SLAVE提供读服务 但是存在弊端, 就是主MASTER宕机后, SLAVE无法升级, 导致无法提供写服务 哨兵监控 为了解决主从架构的MASTER宕机问题, 架构引入哨兵监控机制, 一般哨兵也是集群,最少节点为3, 为什么呢 阅读全文
posted @ 2022-10-03 04:25 彼岸舞 阅读(37) 评论(0) 推荐(0) 编辑