08 2021 档案

摘要:一 简介: Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁)。XtraBackup支 阅读全文
posted @ 2021-08-24 17:35 Cetus-Y 阅读(727) 评论(0) 推荐(0) 编辑
摘要:Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle)、Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的 阅读全文
posted @ 2021-08-24 17:31 Cetus-Y 阅读(213) 评论(0) 推荐(0) 编辑
摘要:2.3.1 innobackupex的相关参数介绍 由于innobackupex把功能都集成到xtrabackup中,但是很多习惯还是使用innobackupex,因为现在还有很多老版本的,只能用innobackupex备份myisam。 innobackupex --help: 1)备份相关的参数 阅读全文
posted @ 2021-08-24 17:20 Cetus-Y 阅读(892) 评论(0) 推荐(0) 编辑
摘要:RDS 物理备份文件恢复到自建数据库 安装XtraBackup和qpress #################################安装qpress#####################################wget "http://docs-aliyun.cn-hangz 阅读全文
posted @ 2021-08-24 17:08 Cetus-Y 阅读(111) 评论(0) 推荐(0) 编辑
摘要:执行计划存储 如果同样的SQL要执行很多遍,且每次都是同样的执行计划、每次都发生硬解析,则会消耗大量时间。类似于Oracle存放执行计划的library cache,PG也有一个类似的概念——plan_cache。但实际上,PG提供的是预备语言(preparedstatement),它要求应用给这个 阅读全文
posted @ 2021-08-24 15:50 Cetus-Y 阅读(1953) 评论(0) 推荐(0) 编辑
摘要:IN和EXISTS被频繁使用在SQL中,虽然作用是一样的,但是在使用效率谁更高这点上众说纷纭。下面我们就通过一组测试来看,在不同场景下,使用哪个效率更高。 测试数据: B表: 大表,大约300000行数据CREATE TABLE `B` ( `id` int NOT NULL AUTO_INCREM 阅读全文
posted @ 2021-08-24 15:32 Cetus-Y 阅读(293) 评论(0) 推荐(0) 编辑
摘要:一些重要的字符集 不幸的是,这个世界太大了,不同的人制定出了好多种字符集,它们表示的字符范围和用到的编码规则可能都不一样。我们看一下一些常用字符集的情况: ASCII字符集 共收录128个字符,包括空格、标点符号、数字、大小写字母和一些不可见字符。由于总共才128个字符,所以可以使用1个字节来进行编 阅读全文
posted @ 2021-08-21 12:44 Cetus-Y 阅读(279) 评论(0) 推荐(0) 编辑
摘要:1、关于 Elasticsearch 分页查询,这几个问题经常被问到 问题1:想请问下,一次性获取索引上的某个字段的所有值(100 万左右),除了把 max_result_window 调大 ,还有没有啥方法? 问题2:关于 es 的分页,每次拿 20 条展示在前台,然后点击下一页,在查询后面的20 阅读全文
posted @ 2021-08-21 11:25 Cetus-Y 阅读(6866) 评论(0) 推荐(0) 编辑
摘要:定义一个Search template 首先,我们来定义一个 search template 来看看它到底是什么东西。使用_scripts端点将模板存储在集群状态中。在 search template中使用的语言叫做 mustache。 POST _scripts/my_search_templat 阅读全文
posted @ 2021-08-21 10:07 Cetus-Y 阅读(1203) 评论(0) 推荐(0) 编辑
摘要:Filebeat我们打开我们的自己的 Kibana,并按照如下的步骤来进行安装: 由于 Filebeat 是 log 相关的,所以我们需要选择 “Add log data”。我们想对系统(System)日志进行监控,所以,我们选择 “System logs”: 然后,我们根据我们自己运行的平台,我们 阅读全文
posted @ 2021-08-20 11:09 Cetus-Y 阅读(352) 评论(0) 推荐(0) 编辑
摘要:什么是 Filebeat?Filebeat 是一个属于 Beats 系列的日志托运者 - 一组安装在主机上的轻量级托运人,用于将不同类型的数据传送到 ELK 堆栈进行分析。每个 Beat 专门用于传送不同类型的信息 - 例如,Winlogbeat 发布 Windows 事件日志,Metricbeat 阅读全文
posted @ 2021-08-20 10:14 Cetus-Y 阅读(4191) 评论(0) 推荐(0) 编辑
摘要:1、背景 上班时间收到一条磁盘空间报警 登录该机器查看,根分区只有不到16G,此刻已经使用超过了80%。 查看根分区下最大的10个文件并按照size降序排列 du ‐Sm / ‐‐exclude="/data" | sort ‐k1nr | head ‐10 这条命令在其他环境执行几秒钟就返回了,在 阅读全文
posted @ 2021-08-19 10:57 Cetus-Y 阅读(253) 评论(0) 推荐(0) 编辑
摘要:一 现象 某个业务最近2个月每月1号凌晨0点都有业务高峰,但是业务所使用的 Redis 服务 cpu 负载100% ,无法对外提供服务进而影响整体业务访问。 二 分析 2.1 问题分析 因为该业务使用的是云Redis ,我们通过监控看 CPU,QPS ,带宽。 出现问题时系统的QPS 大约为 120 阅读全文
posted @ 2021-08-19 09:41 Cetus-Y 阅读(719) 评论(0) 推荐(0) 编辑
摘要:在一个高负载的生产数据库上删除大表需要一些技巧,倘若直接drop table,将产生大量磁盘I/O,严重的会卡库,这是高可用服务所不能接受的。要优化删除表,需要了解其内部执行过程。 一、表删除过程 表删除原理上分为内存和磁盘两部分操作: 清除表相关的buffer pool页面。删除表相关的磁盘文件。 阅读全文
posted @ 2021-08-18 10:54 Cetus-Y 阅读(1101) 评论(0) 推荐(0) 编辑
摘要:所以,我在一开始所提到的前提,mysql需要开启独立表空间。这个假设,百分九十的情况下是成立的。如果真的遇到了,你们公司的mysql采用的是共享表空间的情况,请你和你们家的运维谈谈心,问问为啥用共享表空间。 正确姿势 假设,我们有datadir = /data/mysql/,另外,我们有有一个dat 阅读全文
posted @ 2021-08-18 10:51 Cetus-Y 阅读(330) 评论(0) 推荐(0) 编辑
摘要:source filtering我们可以通过 _source 来定义返回想要的字段: GET twitter/_search{ "_source": ["user", "city"], "query": { "match_all": { } }}返回的结果: "hits" : [ { "_index 阅读全文
posted @ 2021-08-11 19:42 Cetus-Y 阅读(1125) 评论(0) 推荐(0) 编辑
摘要:准备数据为了更好地展示,我们首先来把我们之前的 twitter 的数据做一点小的修改。我们添加一个新的字段 DOB (date of birth),也就是生日的意思。同时,我们也对 province,city 及 country 字段的类型做了调整,并把它们作为 keyword。我们来做如下的操作: 阅读全文
posted @ 2021-08-11 19:05 Cetus-Y 阅读(794) 评论(0) 推荐(0) 编辑
摘要:准备数据创建索引为了说明介绍中提到的各种存储桶聚合,我们首先创建一个新的 “sports” 索引,该索引存储 “althlete” 文档的集合。 索引映射将包含诸如运动员的位置,姓名,等级,运动,年龄,进球数和场位置(例如防守者)之类的字段。 让我们创建映射: PUT sports{ "mappin 阅读全文
posted @ 2021-08-11 10:34 Cetus-Y 阅读(2538) 评论(0) 推荐(0) 编辑
摘要:测试数据 测试index mappings PUT sports { "mappings" : { "properties" : { "birthdate" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ig 阅读全文
posted @ 2021-08-10 20:45 Cetus-Y 阅读(2612) 评论(0) 推荐(0) 编辑
摘要:行溢出的临界点 那发生行溢出的临界点是什么呢?也就是说在列存储多少字节的数据时就会发生行溢出? MySQL中规定一个页中至少存放两行记录,至于为什么这么规定我们之后再说,现在看一下这个规定造成的影响。以上边的varchar_size_demo表为例,它只有一个列c,我们往这个表中插入两条记录,每条记 阅读全文
posted @ 2021-08-09 10:42 Cetus-Y 阅读(526) 评论(0) 推荐(0) 编辑
摘要:#!/bin/bash #修改成自己的ip、密码、库名以及所要匹配的字符串 db_ip=192.168.1.100 db_port=6379 password=963852741 dbnum=0 str="niubi:*" cursor=0 cnt=1000 new_cursor=0 redis-c 阅读全文
posted @ 2021-08-07 10:31 Cetus-Y 阅读(148) 评论(0) 推荐(0) 编辑
摘要:今天在做的一个项目,由于数据量很大,直接连接npgsql,没有用框架,然后发现数据库连接超额奔溃了,用语句查询了一下: select * from pg_stat_activity; 查询正在运行的连接 select max_conn-now_conn as resi_conn from (sele 阅读全文
posted @ 2021-08-04 10:03 Cetus-Y 阅读(823) 评论(0) 推荐(0) 编辑
摘要:顾名思义,best_field就是获取最佳匹配的field,另个可以通过tie_breaker来控制其他field的得分,boost可以设置权重(默认都为1)。 下面从宏观上来讲的简单公式: score=best_field.score*boost+other_fields*boost.score* 阅读全文
posted @ 2021-08-03 15:00 Cetus-Y 阅读(1954) 评论(2) 推荐(1) 编辑
摘要:##预设数据 POST test/_doc/1 { "name":"张三", "sex":"男", "score":70 } POST test/_doc/2 { "name":"李四", "sex":"女", "score":70 } POST test/_doc/3 { "name":"王五", 阅读全文
posted @ 2021-08-03 11:03 Cetus-Y 阅读(1039) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示