07 2021 档案

摘要:准备好数据为了说明问题的方便,我们首先在 Kibana 中使用如下的 bulk 指令来创建我们的 twitter 索引。 POST _bulk{ "index" : { "_index" : "twitter", "_id": 1} }{"user":"张三","message":"今儿天气不错啊, 阅读全文
posted @ 2021-07-29 20:20 Cetus-Y 阅读(1182) 评论(0) 推荐(0) 编辑
摘要:Painless 脚本为我们的搜索带来了很多的方便和灵活性,但是在很多的实践中,我们需要认真地思考这个脚本是不是最有效的。特别是,当我们在 query 使用脚本时,我们需要特别注意。这是因为在搜索时,需要针对每个文档进行计算,当我们的文档的数量很大时,那么这个计算量将会是非常大,从而影响搜索的效率。 阅读全文
posted @ 2021-07-29 20:15 Cetus-Y 阅读(570) 评论(0) 推荐(0) 编辑
摘要:Index template 定义在创建新 index 时可以自动应用的 settings 和 mappings。 Elasticsearch 根据与 index 名称匹配的 index 模式将模板应用于新索引。这个对于我们想创建的一系列的 Index 具有同样的 settings 及 mappin 阅读全文
posted @ 2021-07-29 17:01 Cetus-Y 阅读(7381) 评论(0) 推荐(0) 编辑
摘要:创建一个索引及文档我们接下来创建一个叫做 twitter 的索引(index),并插入一个文档(document)。我们知道在 RDMS 中,我们通常需要有专用的语句来生产相应的数据库,表格,让后才可以让我们输入相应的记录,但是针对 Elasticsearch 来说,这个是不必须的。我们在左边的窗口 阅读全文
posted @ 2021-07-28 20:20 Cetus-Y 阅读(197) 评论(0) 推荐(0) 编辑
摘要:1、幂等操作 幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。 在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用 阅读全文
posted @ 2021-07-28 17:19 Cetus-Y 阅读(605) 评论(0) 推荐(1) 编辑
摘要:在今天的文章里,我们来主要介绍一下 Elasticsearch 的 refresh 及 flush 两种操作的区别。如果我们从字面的意思上讲,好像都是刷新的意思。但是在 Elasticsearch 中,这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍 Lucene 功能的 阅读全文
posted @ 2021-07-28 11:27 Cetus-Y 阅读(626) 评论(0) 推荐(1) 编辑
摘要:1、Canal同步 1.1 canal官方已支持Mysql同步ES6.X 同步原理,参见之前: 干货 | Debezium实现Mysql到Elasticsearch高效实时同步。 canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能。canal adapter 的 Elastic S 阅读全文
posted @ 2021-07-26 16:17 Cetus-Y 阅读(1332) 评论(0) 推荐(0) 编辑
摘要:在业务系统中,遇到过两个问题: 问题1:设置为keyword类型的字段,插入很长的大段内容后,报字符超出异常,无法插入。 问题2:检索超过ignore_above设定长度的字段后,无法返回结果。 思考:Elasticsearch单字段支持的最大字符数? 本文是基于设置ignore_above之后引申 阅读全文
posted @ 2021-07-26 15:44 Cetus-Y 阅读(5043) 评论(0) 推荐(2) 编辑
摘要:1、Elasticsearch6.3 特性概览 1.1、支持Sql 像操作Mysql一样使用Elasticsearch,缩减DSL的学习成本,更多人爱上ES的特性。 1POST /_xpack/sql?format=txt2{3 "query": "SELECT * FROM library WHE 阅读全文
posted @ 2021-07-26 15:33 Cetus-Y 阅读(644) 评论(0) 推荐(0) 编辑
摘要:0、ES6.X 一对多、多对多的数据该如何存储和实现呢? 引出问题: “某头条新闻APP”新闻内容和新闻评论是1对多的关系? 在ES6.X该如何存储、如何进行高效检索、聚合操作呢? 相信阅读本文,你就能得到答案! 1、ES6.X 新类型Join 产生背景 Mysql中多表关联,我们可以通过left 阅读全文
posted @ 2021-07-24 17:52 Cetus-Y 阅读(761) 评论(0) 推荐(0) 编辑
摘要:logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。 回到问题本身:如果库表里没有相关字段,该如何处理呢? 本文给出相关探讨和解决方案。 1、 binlog认知 1.1 啥是 binlog? binlog是Mysql sever层维护的一种二进制日志 阅读全文
posted @ 2021-07-24 10:55 Cetus-Y 阅读(1322) 评论(0) 推荐(0) 编辑
摘要:一、pg_stat_statements模块简介 pg_stat_statements模块提供一种方法追踪一个服务器所执行的所有 SQL 语句的执行统计信息,可以用于统计数据库的资源开销,分析TOP SQL。 该模块必须通过在postgresql.conf的shared_preload_librar 阅读全文
posted @ 2021-07-23 20:19 Cetus-Y 阅读(1620) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch 与 NoSQL 数据库差异本文探讨下ElasticSearch 与 NoSQL 数据库差异,主要以MongoDB作为NoSql代表。 MongoDB 是开源的面向文档的数据库管理系统。ElasticSearch是基于Apache Lucene 的RESTful 实时搜索和 阅读全文
posted @ 2021-07-22 18:58 Cetus-Y 阅读(2782) 评论(0) 推荐(0) 编辑
摘要:关闭服务 在进行下面实验前,请先关闭所有ElasticSearch、kibana、filebeat进程 elasticsearch-修改elasticsearch.yml配置 按以上表格对应的实例新增conf目录下elasticsearch.yml配置参数 # 在所有实例上加上以下配置 # 开启本地 阅读全文
posted @ 2021-07-21 11:37 Cetus-Y 阅读(597) 评论(0) 推荐(0) 编辑
摘要:目录 ▪ 用途 ▪ 架构 ▪ 192.168.1.51 elasticsearch-data部署双实例 ▪ 192.168.1.52 elasticsearch-data部署双实例 ▪ 192.168.1.53 elasticsearch-data部署双实例 ▪ 测试 用途 前情提要: ▷ 在第一篇 阅读全文
posted @ 2021-07-20 11:40 Cetus-Y 阅读(90) 评论(0) 推荐(0) 编辑
摘要:目录 ▪ 用途 ▪ 架构 ▪ 步骤说明 ▪ elasticsearch-data部署 ▪ elasticsearch-ingest部署 ▪ elasticsearch-master部署 用途 在第一篇《EFK教程 - 快速入门指南》中,阐述了EFK的安装部署,其中ES的架构为三节点,即master、 阅读全文
posted @ 2021-07-20 11:04 Cetus-Y 阅读(1519) 评论(0) 推荐(0) 编辑
摘要:目录 ▪ 用途 ▪ 实验架构 ▪ EFK软件安装 ▪ elasticsearch配置 ▪ filebeat配置 ▪ kibana配置 ▪ 启动服务 ▪ kibana界面配置 ▪ 测试 ▪ 后续文章 用途 ▷ 通过filebeat实时收集nginx访问日志、传输至elasticsearch集群 ▷ f 阅读全文
posted @ 2021-07-20 10:56 Cetus-Y 阅读(104) 评论(0) 推荐(0) 编辑
摘要:##全局修改 1:修改postgresql.conf 2:alter system set list_addresses='*'; ##database级别修改 3:alter database name set configparameter [to|=] [value | default] 4: 阅读全文
posted @ 2021-07-19 15:10 Cetus-Y 阅读(537) 评论(0) 推荐(0) 编辑
摘要:目录 四个参数能反应出来什么 引子 check point是做什么的 作用 Checkpoint所做的事情 checkpoint分类 checkpoint的具体解释 1.Sharp Checkpoint(完全检查点) 2.Fuzzy Checkpoint(模糊检查点) 1. 常规性写入操作:(影响不 阅读全文
posted @ 2021-07-13 15:52 Cetus-Y 阅读(693) 评论(0) 推荐(0) 编辑
摘要:本文介绍MySQL和PostgreSQL的一些特性对比,让大家了解二者的优劣,更好的做出选择。当前国内的现状,互联网公司使用MySQL的较多,PostgreSQL的使用比例反而不高,相信看到PG的新特性后,你会爱上她。当然MySQL作为最流行的数据库,依然会吸引大部分人的眼球。 PostgreSQL 阅读全文
posted @ 2021-07-13 15:29 Cetus-Y 阅读(516) 评论(0) 推荐(0) 编辑
摘要:1. 前言 因为多数有事务的数据库都是有回滚段的,所以大家对于PostgreSQL中没有回滚段表示很诧异,PostgreSQL中的vacuum在对旧版本数据做清理时会占用一些IO而对业务可能会产生一些负面影响,这些负面影响在口口相传中会被放大。而在笔者的最佳实践中这个问题并没有网上传的那么严重。实际 阅读全文
posted @ 2021-07-13 15:04 Cetus-Y 阅读(780) 评论(0) 推荐(0) 编辑
摘要:即便是从数据库特性,SQL功能性等方面,PostgreSQL都是一个更接近Oracle,在这方面远胜于MySQL的数据库,但是这个来源是学校的教学数据库的开源数据库,在很多地方,设计实现上的考虑,从我目前来看,是不完备的,其中的典型代表,就是vacuum机制. 如果是一直搞别的数据库的人,无论是My 阅读全文
posted @ 2021-07-12 15:54 Cetus-Y 阅读(1003) 评论(0) 推荐(0) 编辑
摘要:2. 分区表的改进 PostgreSQL 10 实现了声明式分区,PostgtreSQL 11完善了功能,PostgreSQL 12提升了性能。我们知道在PostgreSQL 9.X时代需要通过表继承实现分区,这时还需要手工加触发器或规则把新插入的数据重新定向到具体的分区中,从PostgreSQL 阅读全文
posted @ 2021-07-12 11:26 Cetus-Y 阅读(1834) 评论(0) 推荐(0) 编辑
摘要:PostgreSQL的分区表创建较Oracle分区表复杂些,需要借助创建继承表和触发器的模式实现, 具体创建方法可以参照以下实验, 供参考。 创建父表 123456789101112131415161718 CREATE TABLE fenqu_table ( id integer NOT NULL 阅读全文
posted @ 2021-07-10 17:20 Cetus-Y 阅读(437) 评论(0) 推荐(0) 编辑
摘要:在PostgreSQL的各种技术讨论和日常运维中,vacuum基本离不开讨论范围。在日常运维中由于各种原因导致数据库中产生的垃圾数据无法被回收,会造成表/索引的垃圾比例可能一直高于阈值,造成表/索引膨胀。所以在PostgreSQL数据库管理运维过程中,经常需要调整一些vacuum参数,以优化数据库的 阅读全文
posted @ 2021-07-10 11:37 Cetus-Y 阅读(282) 评论(0) 推荐(0) 编辑
摘要:Postgresql的每个数据库均存放在一个目录中,以数据库oid命名,该目录中存放每个表对应的数据文件,文件名以该数据表对应的relfilenode_oid命名。当表中的数据量足够大,导致表文件的大小大于1GB的时候,Postgresql会自动创建新的数据文件用于存放新插入的数据。新文件的名称为: 阅读全文
posted @ 2021-07-10 11:35 Cetus-Y 阅读(749) 评论(0) 推荐(0) 编辑
摘要:事务回卷浅析文章目录事务回卷浅析事务ID(txid)事务可比较事务空间事务回卷防止事务回卷 在这里,我们描述事务ID回卷问题。事务ID(txid)每当事务开始时,由事务管理器分配一个唯一标识符 事务id(txid)。PostgreSQL的txid是一个32位无符号整数,约为42亿。如果在事务开始后调 阅读全文
posted @ 2021-07-10 11:11 Cetus-Y 阅读(182) 评论(0) 推荐(0) 编辑
摘要:PostgreSQL在2016年9月发布了9.6版本,在该版本中新增了并行计算功能,目前PG支持的并行查询主要是顺序扫描(Sequencial Scans),并且支持部分链接查询(join)和聚合(aggregation)。 并行查询涉及的参数max_worker_processes:决定了整个数据 阅读全文
posted @ 2021-07-10 10:42 Cetus-Y 阅读(600) 评论(0) 推荐(0) 编辑
摘要:这三个对象都可以实现自增,这里从如下几个维度来看看这几个对象有哪些不同,其中功能性上看,大部分特性都是一致的或者类似的。 1,sequence在所有数据库中的性质都一样,它是跟具体的字段不是强绑定的,其特点是支持多个对个对象之间共享。 sequence作为自增字段值的时候,对表的写入需要另外单独授权 阅读全文
posted @ 2021-07-09 19:27 Cetus-Y 阅读(996) 评论(0) 推荐(0) 编辑
摘要:安装准备 修改操作系统参数 ,修改 /etc/sysctl.conf 1234567891011121314 kernel.shmmni = 4096 kernel.sem = 501000 6412800000 501000 12800 fs.file-max = 767246 net.ipv4. 阅读全文
posted @ 2021-07-09 16:48 Cetus-Y 阅读(137) 评论(0) 推荐(0) 编辑
摘要:Redis真的只有单线程吗? Redis是单线程,主要是指 Redis的⽹络IO和键值对读写是由⼀个线程来完成的,这也是Redis对外提供键值存储服务的主要流程。但Redis的其他功能,⽐如持久化、异步删除、集群数据同步等,其实是由额外的线程执⾏的。 为什么⽤单线程? Redis单线程是指它对⽹络I 阅读全文
posted @ 2021-07-03 11:36 Cetus-Y 阅读(177) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示