摘要: 背景 随着微服务和分布式架构的兴起及用户对数据高可用的重视。现在系统中的数据会通过程序定时同步、抽数工具、复制工具等在多个数据库中存在多份。但因为程序异常、网络异常、数据异常等各种原因,会出现数据不一致的情况。如何能简单快速检测出数据不一致并且配平呢?本文通过PostgreSQL的fdw机制,介绍一 阅读全文
posted @ 2019-08-26 17:10 wangzhen3798 阅读(599) 评论(0) 推荐(0) 编辑
摘要: 问题现象 因为某种特殊的原因,发现在es集群中出现了中文名称的索引,通过_cat API查询结果如下: 直接用DELETE API 删除报错 如何删除这个 "测试索引中文" 的索引呢 ? 思路就是用别名API(_alias)将这个中文索引,别名成英文,然后再用DELETE API删除 阅读全文
posted @ 2019-07-08 18:14 wangzhen3798 阅读(917) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch SQL特性研究 简介 从Elasticsearch 发布以来,一直有自己的查询语言(DSL),从6.3版本开始,Elasticsearch 开始支持SQL查询语言。即6.3、6.4、6.5、6.6、6.7、7.0均支持SQL查询。但是6.7之前SQL功能是实验性质的,6. 阅读全文
posted @ 2019-04-27 17:42 wangzhen3798 阅读(2798) 评论(0) 推荐(0) 编辑
摘要: 方法1:一个索引一个文档类型 第一种选择是每个文档类型一个索引,作为存储tweet和user在同一个tweeter索引的替代,你可以存储tweet在tweets索引里,user在users索引里。索引之间是完全相互隔离的,所以索引里的字段类型不会冲突。 这种方法有两个好处: 数据更紧凑,这样会更好的 阅读全文
posted @ 2019-04-25 14:26 wangzhen3798 阅读(2365) 评论(0) 推荐(1) 编辑
摘要: Elasticsearch移除类型(type)的时间表 对于es的用户来说这是一个非常大的变化,所以官方让这件事情尽可能的做到无痛。这个变化将逐步演进: Elasticsearch 5.6.0 index.mapping.single_type设置为true后,索引将像6.x版本一样开启单type特 阅读全文
posted @ 2019-04-25 14:16 wangzhen3798 阅读(3107) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch7.X为什么移除类型(type) 什么是类型(type)? 从Elasticsearch的第一个发布版本以来,每一个文档都被存储在一个单独的索引里,并被赋予了一个type,一个映射类型代表着一个被索引的文档或实体的类型,例如,一个twitter索引可能有一个user类型和t 阅读全文
posted @ 2019-04-24 21:49 wangzhen3798 阅读(8452) 评论(0) 推荐(0) 编辑
摘要: 简介 Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎,具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件,以其为核心构建的ELK,已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢? You Know,for Searc 阅读全文
posted @ 2019-04-22 17:42 wangzhen3798 阅读(1612) 评论(0) 推荐(0) 编辑
摘要: 2019年一季度计划 现在是2019年2月11日(农历正月初七)上午09:29,春节后第一天上班。感觉工作生活计划都应该在春节后写。节前写的话,过了一个春节长假(15天),回来啥都忘了。春节前七天在北京过的,计划看很多书,真正看了的就一个excel2003视频教程,看了两章的《软件系统架构设计》。后 阅读全文
posted @ 2019-02-11 11:38 wangzhen3798 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 如何在Elasticsearch中进行深分页 业务背景 在传统业务系统中,一个常见的信息展现方式就是“分页列表”,随着数据量的增大,就会遇到“深分页”问题。比如用户一页一页的翻,一直翻到第5万页。比如导出全部列表数据到excel,实现时一页一页的把数据追加到excel,直到导出全部数据。“深分页”通 阅读全文
posted @ 2018-12-05 15:39 wangzhen3798 阅读(6225) 评论(0) 推荐(0) 编辑
摘要: 场景和目标 1、mongodb的目标是:“取代oracle和db2”(财务总监时上市说的)。和RDBMS是竞争关系。 2、es的大部分场景是:“一个常见的设置是使用其它数据库作为主要的数据存储,使用 Elasticsearch 做数据检索”(2.X官方文档里说的)。和RDBMS是辅助关系。 相同点: 阅读全文
posted @ 2018-11-28 16:30 wangzhen3798 阅读(49569) 评论(0) 推荐(2) 编辑