总结(1)--- 数据库
一、mysql 数据库存储的原理
存储过程中是一个可编程的函数,它在数据库中创建并保存。 它可以有SQL语句和一些特殊的控制结构组成。当希望在不同的应用程序或平台上执行相同的函数,或者封装特定功能时,存储过程是非常有用的。数据库中的存储过程可以看做是对编程中面向对象方法的模拟。它允许控制数据的访问方式。存储过程通常有以下优点:
1. 存储过程能实现较快的执行速度
2.存储过程允许标准组件是编程
3.存储过程可以用流程控制语句编写,有很强的灵活性,可以完成复杂的判断和较复杂的运算
4.存储过程可被作为一种安全机制来充分利用
5.存储过程能够减少网络流量
二、事务的特性
1. 原子性(Atomicity): 事务中的全部操作在数据库中是不可分割的,要么全部完成,要么均不执行。
2.一致性(Consistency): 几个并行执行的事务,其执行结果必须与按某一顺序串行执行的结果相一致。
3.隔离性(Isolation): 事务的执行不受其他事务的干扰,事务执行的中间结果对其他事务必须是透明的。
4.持久性(Durability):对于任意已提交事务,系统必须保证该事务对数据库的改变不被丢失,即使数据库出现故障
三、数据库索引
数据库索引,是数据库管理系统中的一个排序的数据结构,以协助快速查询、更新数据库表中数据。索引的实现通常使用B_TREE。B_TREE索引加速了数据访问,因为引擎不会去扫描整张表得到需要的数据;相反,它从根节点开始,根节点保存了子节点的指针,存储引擎会根据指针快速寻找数据。
四、数据库优化查询
1. 存储引擎选择:如果数据表需要事务处理,应该考虑使用InnDB,因为它完全符合ACID(原子性、一致性、隔离性、持久性)特性。如果不需要事务处理,使用默认存储引擎MyISAM 是比较明智的
2. 分表分库, 主从。
3. 对查询进行优化,要尽量避免全表扫描。首先应考虑在where 及order by涉及的列上建立索引
4. 应该尽量避免在where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描
5.应该尽量避免where子句中使用 != 或 <> 操作符,否则将引擎放弃使用索引而进行全表扫描
6. 应该尽量避免在where 子句中使用 or 来连接条件,如果一个字段有索引,一个字段没有索引,将导致引擎放弃使用索引而进行全表扫描
7. Update 语句,如果只更改1、2个字段,不要update全部字段,否则频繁调用会引起明显的性能消耗,同时带来大量日志
8. 对于多张大数据量(这里几百条就算大了)的表join,要分页再join,否则逻辑读会很高,性能很差。
五、数据库优化方案
- 优化索引、SQL语句、分析慢查询
- 设计表的时候严格根据数据库的设计范式来设计数据库
- 使用缓存,把经常访问到的数据而且不需要经常变换的数据放在缓存中,能节约磁盘IO
- 优化硬盘;采用SSD,使用磁盘队列技术(RAID0,RAID1,RAID5)等;
- 采用MySQL 内部自带的表分区技术,把数据分层不同的文件,能够提高磁盘的读取效率
- 垂直分表;把一些不经常读的数据放在一张表里,节约磁盘I/O(input/output)
- 主从分离读写;采用主从复制把数据库的操作和写入操作分离开来
- 分库分表分机器(数据量特别大),主要的原理就是数据路由
- 选择合适的表引擎,参数上的优化
- 进行架构级别的缓存,静态化和分布式
- 不采用全文索引
- 采用更快的存储方式,例如NoSQL存储经常访问的数据
六、Mysql集群的优缺点
优点:
- 99.99%的高可用性
- 快速的自动失效切换
- 灵活的分布式体系结构,没有单点故障
- 高吞吐量和低延迟
- 可扩展性,支持在线扩容
缺点
- 存在很多限制,比如:不支持外键
- 部署、管理、配置很复杂
- 占用磁盘空间大、内存大
- 备份和恢复不方便
- 重启的时候,数据节点将数据load 到内存需要很长时间
七、MySQL引擎,各引擎之间区别
主要MyISAM 与InnoDB 两个引擎,其只要区别如下:
- InnoDB 支持事务,MyISAM 不支持,这一点是非常重要的。事务是一种高级的处理方式,如在一些列增删改中只要哪个出错还是可以回滚还原,而MyISAM 就不可以了;
- MyISAM 适合查询以及插入为主的应用,InnoDB适合频繁修改以及涉及安全性较高的应用;
- InnoDB支持外键, MyISAM 不支持;
- InnoDB 是默认引擎,InnoDB 需要指定;
- InnoDb 不支持 FULLTEXT类型的索引;
- InnoDB 中不保存表的行数,如 select count()from table 时,InnoDB;需要扫描一遍整个表来计算有多少行,但是MyISAM只要简单的读出保存好的行数即可,注意的是,当count()语句包含where 条件是MyISAM 也需要扫描整个表;
- 对于自增长的字段, InnoDB中必须包含只有该字段的索引,但是在MyISAM表中可以和其他字段一起建立联合索引; 清空整个表时,InnoDB时一行一行的删除,效率非常慢。MyISAM则会重建表
- InnoDB支持行锁(某些情况下还是锁整表,如update table set a = 1 where user like “%lee%”)