MySQL基础终章
pymysql补充---增删改查
# 1.针对增删改 pymysql需要二次确认才能真正的操作数据
import pymysql
conn = pymysql.connect(
host = '127.0.0.1',
port = 3306,
user = 'root',
passwd = '123456',
db = 'day48',
charset = 'utf8',
autocommit = True
)
cursor = conn.cursor(pymysql.cursors.DictCursor)
# 增
sql = 'insert into user(name,password) values(%s,%s)'
# rows = cursor.execute(sql,('jackson',123))
rows = cursor.executemany(sql,[('xxx',123),('ooo',123),('yyy',123)])
print(rows)
# conn.commit() # 确认
# 修改
# sql = 'update user set name="jasonNB" where id=1'
# rows = cursor.execute(sql)
# print(rows)
# conn.commit() # 确认
# 删除
sql = 'delete from user where id=7'
rows = cursor.execute(sql)
print(rows)
conn.commit() # 确认
# 查
# sql = 'select * from user'
# cursor.execute(sql)
# print(cursor.fetchall())
"""
增删改查中
删改增它们的操作设计到数据的修改
需要二次确认
"""
# 还可以一次性插入N多条数据
rows = cursor.executemany(sql,[('xxx',123),('ooo',123)])
视图
- 什么是视图
视图就是通过查询得到一张虚拟表，然后保存下来，下次可以直接使用
视图也是表
- 为何要用视图
其实一般用不到
但是，如果要频繁的操作一张虚拟表（拼表组成），就可以制作成视图，后续直接操作
- 如何操作
1.inner join 拼接两张频繁操作的表
2.create view 表名 as 虚拟表的sql语句
creat view teacher2course as
select * from teacher inner join course on teacher.tid = course.teacher_id;
- 注意
1 创建视图在硬盘上只会有表结构，没有表数据（数据还是来自于之前的表）
2 视图一般只用来查询，里面的数据不要修改，可能会影响真正的表
- 视图使用频率到底高不高？---基本不用
不高，
原因：当你创建了很多视图之后，会造成表的不好维护
触发器
- 在满足对表数据进行增删改的情况下，自动触发的功能。
触发器可以在6种情况下自动触发：增前 增后 删前 删后 改前 改后
- 使用触发器可以帮助我们实现监控对数据操作的记录、日志及自动处理异常等等
- 基本语法结构
create trigger 触发器的名字 before/after insert/update/delete on 表名
for each row
begin
sql语句
end
- 具体使用
针对触发器的名字，尽可能见名知意
create trigger tri_before_insert_t1 before insert on t1
for each row
begin
sql语句
end
# 针对删除和修改书写格式相同
- 小知识补充---修改MySQL语句默认的语句结束符
delimiter $$ # 将默认的结束符号由;改为 $$
delimiter ; 改回来
注意：只作用于当前窗口
- 触发器应用案例
CREATE TABLE cmd (
id INT PRIMARY KEY auto_increment,
USER CHAR (32),
priv CHAR (10),
cmd CHAR (64),
sub_time datetime, #提交时间
success enum ('yes', 'no') #0代表执行失败
);
CREATE TABLE errlog (
id INT PRIMARY KEY auto_increment,
err_cmd CHAR (64),
err_time datetime
);
"""
当cmd表中的记录succes字段是no那么就触发触发器的执行去errlog表中插入数据
NEW指代的就是一条条数据对象
"""
delimiter $$
create trigger tri_after_insert_cmd after insert on cmd
for each row
begin
if NEW.success = 'no' then
insert into errlog(err_cmd,err_time) values(NEW.cmd,NEW.sub_time);
end if;
end $$
delimiter ;
# 朝cmd表插入数据
INSERT INTO cmd (
USER,
priv,
cmd,
sub_time,
success
)
VALUES
('jason','0755','ls -l /etc',NOW(),'yes'),
('jason','0755','cat /etc/passwd',NOW(),'no'),
('jason','0755','useradd xxx',NOW(),'no'),
('jason','0755','ps aux',NOW(),'yes');
- 删除触发器
drop trigger 触发器名称；
事务
- 什么是事务
开启一个事务可以包含多条sql语句，这些sql语句要么同时成功，要么一个都别成功
这个特点称之为：事务的原子性
- 事务的作用
保证了对数据操作的安全性，
防止在操作多条数据的时候可能会出现某几条数据操作不成功的情况
- 事务的四大特性
ACID
A:原子性
一个事务是一个不可分割的单位，事务中包含的诸多操作要么同时成功，要么同时失败
C：一致性
事务必须是使数据库从一个一致性的状态变到另一个一致性的状态
一致性跟原子性是密切相关的
I：隔离性
一个事务的执行不能被其他事务干扰。
即一个事务内部的操作及使用到的数据对并发的其他事务是隔离的，并发执行的事务之间也是互相不干扰的
D：持久性
也叫永久性
一个事务一旦提交成功执行成功，那么它对数据库中的数据的修改应该是永久的
接下来的其他操作或者故障不应该对其有任何影响
- 如何使用事务
-- 事务相关的关键字
-- 开启事务
start transaction;
-- 回滚操作（回到事务执行之前的状态）
rollback;
-- 确认（确认之后就无法回滚了）
commit;
- 模拟事务功能---转账
create table user(
id int primary key auto_increment,
name char(16),
balance int
);
insert into user(name,balance) values('jason',100),('egon',100),('tank',100);
-- 先开启事务
start transaction;
-- 书写事务的多条sql语句
update user set balance=900 where name='jason';
update user set balance=1010 where name='egon';
update user set balance=1090 where name='tank';
-- 回滚
rollback;
-- 确认事务
commit;
- 总结
当你想让多条sql语句保持一致性，要么同时成功要么同时失败
应该考虑使用事务
存储过程
- 存储过程就类似于python中的自定义函数
内部包含了一系列的sql语句，存储过程存放于MySQL服务端中，可以直接通过调用存储过程触发内部sql语句的执行
- 存储过程的基本使用
-- 固定语法
create procedure 存储过程的名字(形参1，形参2...)
begin
sql代码
end
-- 调用
call 存储过程的名字();
- 三种开发模型
第一种
应用程序：程序员写代码开发
MySQL：提前编写好存储过程，供程序员调用
好处：提升开发效率
缺点：考虑到人为元素、跨部门沟通的问题，后续存储过程的扩展性差
第二种
应用程序：程序员写代码开发之外，涉及到数据库操作也自己动手写
优点：扩展性很高
缺点：开发效率降低
编写sql语句太过繁琐，而且后续还需要sql优化的问题
第三种
应用程序：只写程序代码，不写sql语句，基于别人写好的操作MySQL的python框架直接调用操作即可 ORM框架
优点：开发效率比上面两种情况都高
缺点：语句的扩展性差，可能会出现效率低下的问题
- 存储过程具体演示
在MySQL中书写方式
delimiter $$
create procedure p1(
in m int, # in只进不出，m不能返回出去
in n int,
out res int # out 可以返回出去
)
begin
select tname from teacher where tid>m and tid<n;
set res=0; # 将res变量修改，用来标识当前的存储过程代码确实执行了
end $$
delimiter ;
-- 调用
-- 针对形参res不能直接传数据，应该传一个变量名
-- 定义变量
set @ret = 10
-- 查看变量对应的值
select @ret;
call p1(1,5,@ret);
在python中的pymysql中
import pymysql
conn = pymysql.connect(
host='127.0.0.1',
port=3306,
user='root',
password='1026',
db='day49',
charset='utf8',
autocommit=True
)
cursor = conn.cursor(pymysql.cursors.DictCursor)
# 调用存储过程
cursor.callproc('p1',(1,5,10))
'''
模块内部进行的转换
@_p1_0=1
@_p1_1=5
@_p1_2=10
'''
print(cursor.fetchall())
函数
- 跟存储过程是有区别的，存储过程时自定义函数，函数类似于内置函数
('jason','0755','ls -l /etc',NOW(),'yes')
CREATE TABLE blog (
id INT PRIMARY KEY auto_increment,
NAME CHAR (32),
sub_time datetime
);
INSERT INTO blog (NAME, sub_time)
VALUES
('第1篇','2015-03-01 11:31:21'),
('第2篇','2015-03-11 16:31:21'),
('第3篇','2016-07-01 10:21:31'),
('第4篇','2016-07-22 09:23:21'),
('第5篇','2016-07-23 10:11:11'),
('第6篇','2016-07-25 11:21:31'),
('第7篇','2017-03-01 15:33:21'),
('第8篇','2017-03-01 17:32:21'),
('第9篇','2017-03-01 18:31:21');
select date_format(sub_time,'%Y-%m'),count(id) from blog group by date_format(sub_time,'%Y-%m');
流程控制
if 判断
delimiter //
CREATE PROCEDURE proc_if ()
BEGIN
declare i int default 0;
if i = 1 THEN
SELECT 1;
ELSEIF i = 2 THEN
SELECT 2;
ELSE
SELECT 7;
END IF;
END //
delimiter ;
while 循环
delimiter //
CREATE PROCEDURE proc_while ()
BEGIN
DECLARE num INT ;
SET num = 0 ;
WHILE num < 10 DO
SELECT
num ;
SET num = num + 1 ;
END WHILE ;
索引理论
- 数据都是存在硬盘上的，查询数据不可避免的需要进行IO操作
- 索引
索引就是一种数据结构，类似于书的目录，意味着以后在查询数据的应该先找目录再找数据，而不是一页一页的番薯，从而提升查询速度降低IO操作
- 索引在MySQL中也叫
键，是存储引擎快速查找记录的一种数据结构
primary key
unique key
index key
注意foreign key 不是用来加速查询用的，不在研究范围之内
上面的三种key,前两种除了可以增加查询速度之外，各自还具有约束条件的效果，而最后一种没有任何的约束条件效果，只是用来帮你快速查询数据
- 本质
通过不断的缩小想要的数据范围筛选出最终的结果，同时将随机事件变成顺序事件（先找目录再找数据）
也就是有了索引机制，就可以总是用一种固定的方式查找数据
一张表中可以有多个索引（多种样式的目录）
- 索引的缺点
1 当表中有大量数据存在的前提下，创建索引会很慢
2 在索引创建完毕之后，对表的查询性能会大幅度提升，但是写的性能也会大幅度的降低
因此：索引不要随意的创建
- b+树
只有叶子节点存放的是真实的数据，其他节点存放的时虚拟数据，仅仅是用来指路的
树的层级越高，查询数据所需要经历的步骤就越多
一个磁盘块存储是有限制的
为什么建议将id字段作为索引
占用空间少，一个磁盘块额能够存储的数据多
那么降低了树的高度，从而减少查询的次数
- 聚集索引---primary key
聚集索引指的就是主键
Inonodb 只有两个文件，直接将主键存放在数据表（idb）中
Myisam 三个文件，单独将索引存在一个文件中
- 辅助索引（unique index）
查询数据的时候不可能一直使用到主键，也有可能会用到name password等其他字段
这个时候是没有办法利用聚集索引，这个时候就可以根据情况给其他字段设置辅助索引（b+树）
特点：叶子节点存放的是数据对应的主键值
先按照辅助索引拿到数据的主键值
之后还是需要去主键的聚集索引里面查询数据
- 覆盖索引
在辅助索引的叶子节点就已经拿到了需要的数据
# 覆盖索引
select name from user where name='tank';
# 非覆盖索引---需要通过辅助索引找到聚集索引
select age from user where name='tank';
- 测试索引是否有效
**准备**
```mysql
#1. 准备表
create table s1(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);
#2. 创建存储过程，实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
BEGIN
declare i int default 1;
while(i<3000000)do
insert into s1 values(i,'jason','male',concat('jason',i,'@oldboy'));
set i=i+1;
end while;
END$$ #$$结束
delimiter ; #重新声明分号为结束符号
#3. 查看存储过程
show create procedure auto_insert1\G
#4. 调用存储过程
call auto_insert1();
```
``` mysql
# 表没有任何索引的情况下
select * from s1 where id=30000;
# 避免打印带来的时间损耗
select count(id) from s1 where id = 30000;
select count(id) from s1 where id = 1;
# 给id做一个主键
alter table s1 add primary key(id); # 速度很慢
select count(id) from s1 where id = 1; # 速度相较于未建索引之前两者差着数量级
select count(id) from s1 where name = 'jason' # 速度仍然很慢
"""
范围问题
"""
# 并不是加了索引，以后查询的时候按照这个字段速度就一定快
select count(id) from s1 where id > 1; # 速度相较于id = 1慢了很多
select count(id) from s1 where id >1 and id < 3;
select count(id) from s1 where id > 1 and id < 10000;
select count(id) from s1 where id != 3;
alter table s1 drop primary key; # 删除主键 单独再来研究name字段
select count(id) from s1 where name = 'jason'; # 又慢了
create index idx_name on s1(name); # 给s1表的name字段创建索引
select count(id) from s1 where name = 'jason' # 仍然很慢！！！
"""
再来看b+树的原理，数据需要区分度比较高，而我们这张表全是jason，根本无法区分
那这个树其实就建成了“一根棍子”
"""
select count(id) from s1 where name = 'xxx';
# 这个会很快，我就是一根棍，第一个不匹配直接不需要再往下走了
select count(id) from s1 where name like 'xxx';
select count(id) from s1 where name like 'xxx%';
select count(id) from s1 where name like '%xxx'; # 慢 最左匹配特性
# 区分度低的字段不能建索引
drop index idx_name on s1;
# 给id字段建普通的索引
create index idx_id on s1(id);
select count(id) from s1 where id = 3; # 快了
select count(id) from s1 where id*12 = 3; # 慢了 索引的字段一定不要参与计算
drop index idx_id on s1;
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx';
# 针对上面这种连续多个and的操作，mysql会从左到右先找区分度比较高的索引字段，先将整体范围降下来再去比较其他条件
create index idx_name on s1(name);
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx'; # 并没有加速
drop index idx_name on s1;
# 给name，gender这种区分度不高的字段加上索引并不难加快查询速度
create index idx_id on s1(id);
select count(id) from s1 where name='jason' and gender = 'male' and id = 3 and email = 'xxx'; # 快了 先通过id已经讲数据快速锁定成了一条了
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx'; # 慢了 基于id查出来的数据仍然很多，然后还要去比较其他字段
drop index idx_id on s1
create index idx_email on s1(email);
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx'; # 快 通过email字段一剑封喉
```
#### 联合索引
```mysql
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx';
# 如果上述四个字段区分度都很高，那给谁建都能加速查询
# 给email加然而不用email字段
select count(id) from s1 where name='jason' and gender = 'male' and id > 3;
# 给name加然而不用name字段
select count(id) from s1 where gender = 'male' and id > 3;
# 给gender加然而不用gender字段
select count(id) from s1 where id > 3;
# 带来的问题是所有的字段都建了索引然而都没有用到，还需要花费四次建立的时间
create index idx_all on s1(email,name,gender,id); # 最左匹配原则，区分度高的往左放
select count(id) from s1 where name='jason' and gender = 'male' and id > 3 and email = 'xxx'; # 速度变快
```
总结:上面这些操作，你感兴趣可以敲一敲，不感兴趣你就可以不用敲了，权当看个乐呵。理论掌握了就行了
慢查询日志
设定一个时间检测所有超出该时间的sql语句，然后针对性的进行优化！
