随笔分类 -  1-mysql/pg

1
摘要:sql和函数 阅读全文
posted @ 2021-03-26 11:48 鼠标的博客 阅读(278) 评论(0) 推荐(0) 编辑
摘要:pg表变更相关操作 阅读全文
posted @ 2020-06-18 20:33 鼠标的博客 阅读(854) 评论(0) 推荐(0) 编辑
摘要:pg后台操作常用命令 阅读全文
posted @ 2020-06-18 14:24 鼠标的博客 阅读(1099) 评论(0) 推荐(0) 编辑
摘要:一些基本的概念 数据库(DB):是磁盘上的一系列物理文件,这个“数据库”,不是我们平时口语中所说的“数据库”,后面我会提到 mysql数据库就是一堆frm、MYD、MYI、ibd文件 数据库管理系统(DBMS):我们平时“口语中所说的数据库",由数据库+数据库实例构成 数据库实例(instance) 阅读全文
posted @ 2020-04-13 20:33 鼠标的博客 阅读(987) 评论(0) 推荐(0) 编辑
摘要:in查询优化 阅读全文
posted @ 2020-01-19 17:35 鼠标的博客 阅读(5944) 评论(3) 推荐(0) 编辑
摘要:背景:我们的服务是一个带有部分批处理业务的服务,在跑历史数据入pg时会有大量日志产出,现场服务器出现过几次爆盘,询问DBA后制定了以下两个方案: 方案一:如果不关心或不会使用pg日志,通过参数控制减少日志的产生量 方案二:如果不得不开启详细日志记录,这种情况避免不了会产生大量日志,考虑将日志转移到其 阅读全文
posted @ 2019-11-28 10:05 鼠标的博客 阅读(396) 评论(0) 推荐(0) 编辑
摘要:1、linux切换到pg命令: supostgres psql postgres=# 2、查看/退出pg ps -ef |grep postgres postgres=# \q 3、一般优化项 参数名 作用 64GB建议值 256GB建议值 shared_buffers 设置Postg 阅读全文
posted @ 2019-07-10 17:59 鼠标的博客 阅读(1023) 评论(0) 推荐(0) 编辑
摘要:网上搜了很多都不理想,这里总结的一部分是官网的文档,一部分是网上的,大体没问题 PostgreSQL™ Java SE 8 date LocalDate time LocalTime timestamp without timezone LocalDateTime timestamp with ti 阅读全文
posted @ 2018-12-19 18:23 鼠标的博客 阅读(11363) 评论(0) 推荐(1) 编辑
摘要:之前一直用的mysql,这个也基本上是主流,主键自增是很多建表规范中的硬性要求,不过这两种数据库主键自增的区别还是很大的 通常navicat中对mysql 主键自增直接客户端指定即可,不过对PG貌似不支持客户端指定,所以需要执行一下sql 如果尚未创建表,可用如下方法 方法一: create tab 阅读全文
posted @ 2018-11-27 09:34 鼠标的博客 阅读(23273) 评论(0) 推荐(3) 编辑
摘要:从这一篇开始,准备总结一些直接受用的sql语句优化,写sql是第二要紧的,第一要紧的,是会分析怎么查最快, 因为当你写过很多sql后,查询出结果已经不是目标,快,才是目标。另外,通过测试和比较的结果才是有说服力的。 1、COUNT()查询 介绍:聚合函数。用于统计某个列值的数量,以及统计行数。如果统 阅读全文
posted @ 2018-10-23 15:07 鼠标的博客 阅读(237) 评论(0) 推荐(0) 编辑
摘要:事实一:临时表没有任何索引 最常见的临时表莫过于在from子句中写子查询,遇到这种情况,Mysql会先将其查询结果放到一张临时表中, 然后将这个临时表当做普通表对待 事实二:执行计划优化 大多数的sql语句在执行计划中都会被优化,这些优化都是mysql在内部评估分析后优化的,比如我们的关联查询 中的 阅读全文
posted @ 2018-10-22 23:45 鼠标的博客 阅读(136) 评论(0) 推荐(0) 编辑
摘要:接前一篇,这一篇主要总结下几个经常要用的命令 命令一:explain+sql 上面是一个简单查询,重点观察属性如下: type:表示MySQL在表中找到所需行的方式 type的值从上到下,性能依次从差到好: ALL:Full Table Scan, MySQL将遍历全表以找到匹配的行 index:F 阅读全文
posted @ 2018-10-22 23:11 鼠标的博客 阅读(227) 评论(0) 推荐(0) 编辑
摘要:Oracle的存储结构和mysql区别很大 Oracle存储模型 逻辑结构在左,物理结构在右,编程人员只处理逻辑结构,让数据库去管理到物理结构的映射逻辑结构 物理结构 DatabaseTablespace(表空间) -———————— OS fileSegment (段)Extent(区)Oracl 阅读全文
posted @ 2018-10-20 15:37 鼠标的博客 阅读(315) 评论(0) 推荐(0) 编辑
摘要:前言 这是优化系列的最后一篇的第1小篇,我们其实可以直接从sql怎么写讲起,why not?但是我还是决定花2个篇幅 问一些问题,带着几个问题循序渐进的往下走。 一个sql语句是怎么被执行的? sql中关键字的执行顺序是怎样的? 什么是扫描? 为什么查询会慢? 什么是慢查询? 第一个问题:sql是怎 阅读全文
posted @ 2018-10-16 00:06 鼠标的博客 阅读(256) 评论(0) 推荐(0) 编辑
摘要:实际上,前面的数据类型和表结构设计优化不能算优化,只能算规范,也就是说在设计表的时候,应该且必须做到这些 索引是sql优化的核心部分,在《高性能Mysql》中单独抽出一章讲,也印证了其重要性。这一篇也会讲的很细致。 以下所讲,除少数的如全文索引之外,均以Innodb存储引擎为基本 一、索引是什么 索 阅读全文
posted @ 2018-10-15 22:57 鼠标的博客 阅读(304) 评论(0) 推荐(0) 编辑
摘要:一、范式 如果详细的讲范式,要写大大大篇文章来讲,这里假设大家知道一些基本的范式规则,我用简洁的语句和例子说明 第一范式:列不可再分,譬如地址字段,可以再细分为省市区门牌号等等(其实还是看需求怎么整) 第二范式:满足第一范式,且除主键以外的列都依赖于主键,这个好理解,订单表中不要有商品名,因为商品名 阅读全文
posted @ 2018-10-14 22:41 鼠标的博客 阅读(316) 评论(0) 推荐(0) 编辑
摘要:本篇是优化系列的第一篇:数据类型 为了不产生赘述,尽量用简洁的语言来描述。 在选择数据类型之前,首先要知道几个原则: 更小的通常更好 尽量使用可以正确存储数据的最小数据类型。更小的数据类型意味着更快,占用更少的磁盘,内存以及缓存,以及处理时间 简单就好 这是出于操作数据类型的效率和代价考虑。整型比字 阅读全文
posted @ 2018-10-14 21:54 鼠标的博客 阅读(297) 评论(0) 推荐(0) 编辑
摘要:背景: 笔者的源数据一张表大概7000多万条,数据大小36G,索引6G,加起来表空间有40G+,类似的表有4张,总计2亿多条 数据库mysql,引擎为innodb,版本5.7,服务器内存256G,物理内存几个T,硬件参数杠杠的,然而处理这些数据踩了不少坑,因 为之前没做过这方面的工作,现在记录下清洗 阅读全文
posted @ 2018-08-25 09:57 鼠标的博客 阅读(4083) 评论(0) 推荐(0) 编辑
摘要:在微信公众号上看到一篇文章说的很好,意思是说,大牛在尝试各种方案的时候可能并没有超神的预测和筛选能力 只是你通常测试一种情况时,大神已经测试了好几种方案了,讲的是"为什么大多数程序员不喜欢写测试"的问题, 作者说,很多人觉得有些东西,谷歌百度一下随便都查得到,就像字典一样,没必要非要死记着,然后讲到 阅读全文
posted @ 2018-08-14 22:12 鼠标的博客 阅读(212) 评论(0) 推荐(0) 编辑
摘要:这是官网的Quick Giude:https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/ 以下为自己安装的步骤: 第一步:下载.rpm安装包 两种方式: 第1种,官网直接下载,地址:https://dev.mysql.com/download 阅读全文
posted @ 2018-08-13 20:45 鼠标的博客 阅读(704) 评论(0) 推荐(0) 编辑

1
点击右上角即可分享
微信分享提示