08 2021 档案
摘要:一 简介: Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁)。XtraBackup支
阅读全文
摘要:Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle)、Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的
阅读全文
摘要:2.3.1 innobackupex的相关参数介绍 由于innobackupex把功能都集成到xtrabackup中,但是很多习惯还是使用innobackupex,因为现在还有很多老版本的,只能用innobackupex备份myisam。 innobackupex --help: 1)备份相关的参数
阅读全文
摘要:RDS 物理备份文件恢复到自建数据库 安装XtraBackup和qpress #################################安装qpress#####################################wget "http://docs-aliyun.cn-hangz
阅读全文
摘要:执行计划存储 如果同样的SQL要执行很多遍,且每次都是同样的执行计划、每次都发生硬解析,则会消耗大量时间。类似于Oracle存放执行计划的library cache,PG也有一个类似的概念——plan_cache。但实际上,PG提供的是预备语言(preparedstatement),它要求应用给这个
阅读全文
摘要:IN和EXISTS被频繁使用在SQL中,虽然作用是一样的,但是在使用效率谁更高这点上众说纷纭。下面我们就通过一组测试来看,在不同场景下,使用哪个效率更高。 测试数据: B表: 大表,大约300000行数据CREATE TABLE `B` ( `id` int NOT NULL AUTO_INCREM
阅读全文
摘要:一些重要的字符集 不幸的是,这个世界太大了,不同的人制定出了好多种字符集,它们表示的字符范围和用到的编码规则可能都不一样。我们看一下一些常用字符集的情况: ASCII字符集 共收录128个字符,包括空格、标点符号、数字、大小写字母和一些不可见字符。由于总共才128个字符,所以可以使用1个字节来进行编
阅读全文
摘要:1、关于 Elasticsearch 分页查询,这几个问题经常被问到 问题1:想请问下,一次性获取索引上的某个字段的所有值(100 万左右),除了把 max_result_window 调大 ,还有没有啥方法? 问题2:关于 es 的分页,每次拿 20 条展示在前台,然后点击下一页,在查询后面的20
阅读全文
摘要:定义一个Search template 首先,我们来定义一个 search template 来看看它到底是什么东西。使用_scripts端点将模板存储在集群状态中。在 search template中使用的语言叫做 mustache。 POST _scripts/my_search_templat
阅读全文
摘要:Filebeat我们打开我们的自己的 Kibana,并按照如下的步骤来进行安装: 由于 Filebeat 是 log 相关的,所以我们需要选择 “Add log data”。我们想对系统(System)日志进行监控,所以,我们选择 “System logs”: 然后,我们根据我们自己运行的平台,我们
阅读全文
摘要:什么是 Filebeat?Filebeat 是一个属于 Beats 系列的日志托运者 - 一组安装在主机上的轻量级托运人,用于将不同类型的数据传送到 ELK 堆栈进行分析。每个 Beat 专门用于传送不同类型的信息 - 例如,Winlogbeat 发布 Windows 事件日志,Metricbeat
阅读全文
摘要:1、背景 上班时间收到一条磁盘空间报警 登录该机器查看,根分区只有不到16G,此刻已经使用超过了80%。 查看根分区下最大的10个文件并按照size降序排列 du ‐Sm / ‐‐exclude="/data" | sort ‐k1nr | head ‐10 这条命令在其他环境执行几秒钟就返回了,在
阅读全文
摘要:一 现象 某个业务最近2个月每月1号凌晨0点都有业务高峰,但是业务所使用的 Redis 服务 cpu 负载100% ,无法对外提供服务进而影响整体业务访问。 二 分析 2.1 问题分析 因为该业务使用的是云Redis ,我们通过监控看 CPU,QPS ,带宽。 出现问题时系统的QPS 大约为 120
阅读全文
摘要:在一个高负载的生产数据库上删除大表需要一些技巧,倘若直接drop table,将产生大量磁盘I/O,严重的会卡库,这是高可用服务所不能接受的。要优化删除表,需要了解其内部执行过程。 一、表删除过程 表删除原理上分为内存和磁盘两部分操作: 清除表相关的buffer pool页面。删除表相关的磁盘文件。
阅读全文
摘要:所以,我在一开始所提到的前提,mysql需要开启独立表空间。这个假设,百分九十的情况下是成立的。如果真的遇到了,你们公司的mysql采用的是共享表空间的情况,请你和你们家的运维谈谈心,问问为啥用共享表空间。 正确姿势 假设,我们有datadir = /data/mysql/,另外,我们有有一个dat
阅读全文
摘要:source filtering我们可以通过 _source 来定义返回想要的字段: GET twitter/_search{ "_source": ["user", "city"], "query": { "match_all": { } }}返回的结果: "hits" : [ { "_index
阅读全文
摘要:准备数据为了更好地展示,我们首先来把我们之前的 twitter 的数据做一点小的修改。我们添加一个新的字段 DOB (date of birth),也就是生日的意思。同时,我们也对 province,city 及 country 字段的类型做了调整,并把它们作为 keyword。我们来做如下的操作:
阅读全文
摘要:准备数据创建索引为了说明介绍中提到的各种存储桶聚合,我们首先创建一个新的 “sports” 索引,该索引存储 “althlete” 文档的集合。 索引映射将包含诸如运动员的位置,姓名,等级,运动,年龄,进球数和场位置(例如防守者)之类的字段。 让我们创建映射: PUT sports{ "mappin
阅读全文
摘要:测试数据 测试index mappings PUT sports { "mappings" : { "properties" : { "birthdate" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ig
阅读全文
摘要:行溢出的临界点 那发生行溢出的临界点是什么呢?也就是说在列存储多少字节的数据时就会发生行溢出? MySQL中规定一个页中至少存放两行记录,至于为什么这么规定我们之后再说,现在看一下这个规定造成的影响。以上边的varchar_size_demo表为例,它只有一个列c,我们往这个表中插入两条记录,每条记
阅读全文
摘要:#!/bin/bash #修改成自己的ip、密码、库名以及所要匹配的字符串 db_ip=192.168.1.100 db_port=6379 password=963852741 dbnum=0 str="niubi:*" cursor=0 cnt=1000 new_cursor=0 redis-c
阅读全文
摘要:今天在做的一个项目,由于数据量很大,直接连接npgsql,没有用框架,然后发现数据库连接超额奔溃了,用语句查询了一下: select * from pg_stat_activity; 查询正在运行的连接 select max_conn-now_conn as resi_conn from (sele
阅读全文
摘要:顾名思义,best_field就是获取最佳匹配的field,另个可以通过tie_breaker来控制其他field的得分,boost可以设置权重(默认都为1)。 下面从宏观上来讲的简单公式: score=best_field.score*boost+other_fields*boost.score*
阅读全文
摘要:##预设数据 POST test/_doc/1 { "name":"张三", "sex":"男", "score":70 } POST test/_doc/2 { "name":"李四", "sex":"女", "score":70 } POST test/_doc/3 { "name":"王五",
阅读全文