记录一次SQL函数和优化的问题
一、前言
上次在年前快要放假的时候记录的一篇安装SSL证书的内容，因为当时公司开始居家办公了，我也打算回个家
毕竟自己在苏州这半年一个人也是很想家的，所以就打算年过完来重新写博客。不巧的是，当时我2月中旬刚到苏州，
没想到苏州疫情爆发了，直接隔离十四天，自己平时就完成公司的开发任务以及自己的毕设，把写博客的事有点淡忘了，
最近也算自己手头的一些事都开始可以顺利进行了，想起也是时候去记录一下了。
很多新学的东西自己感觉就是入了个门，所以平时基本就直接放语雀上了，这次也是打算做一个简短的总结吧！
二、SQL函数
注：以下基于官方文档理解（ MySQL5.7文档 ）
官方的内容，可以利用好CTRL+F，进行网页内搜索，随时查看各种函数用法，而且也会避免一些不规范的问题，比较官方的例子和要求最致密。
2.1字符串函数
FIND_IN_SET(param1，param2)
这是一个字符串相关的函数
FIND_IN_SET(needle,haystack) 里面有两个参数，我们可以简单的看作find_in_set(param1,param2)
第一个参数param1：它是我们要查找的某一个具体的值
第二个参数param2：它是我们要查找的字符串列表
- 当param2在param2这个列表中的话，函数返回一个正整数
- 当param1不在param2中，或者param2这个列表是个NULL，函数返回0
- 当两个参数param1或param2为NUll的时候，函数放回NULL
这里以LEFT JOIN举个“栗”子：
LEFT JOIN：说的简单点就是，左表记录会全部返回，同时如果与右表有记录相等的数据会返回右表的一些相关信息，如果没有，右表返回的记录就是NULL
（这个可以去参考CSDN此篇博客：Sql之left join（左关联）、right join（右关联）、inner join（自关联）的区别
这里假设有a和b两张表，a表中的id是个bigint类型，b表中的relate_a_id是个varchar类型，存放的是关联的a表中的id
（这里仅仅是举个栗子，表的设计一定要符合规范，比如这种关联的可以新增一张关联表的操作）
select a.id,
a.name,
IFNULL(b.id,0) AS flag,
b.relate_a_id
from a left join b on FIND_IN_SET(a.id,relate_a_id) and a.id = b.id
这样如果a.id在这个b表中relate_a_id这个字段的列表中的话就返回b.id，如果不在就放回0。这里起了个别名为flag作为判断量
单表的操作更简单，总而言之，这个函数就是为了判断一个值是否在一个字符串列表中的操作。
同理和NULL、NOT NULL一样，如果要判断不在当中就直接NOT FIND_IN_SET()就可以了
这里要提一点的就是，以上操作看起来和IN这个操作符很像，所以这里我的理解是：
虽然
1 IN(1,2,3) 和 FIND_IN_SET(1,"1,2,3") 最终的结果是一样的，但是如下：
IN它是“值”对“值”，而FIND_IN_SET(param1，param2)是“值”对“一个列表”，而且FIND_IN_SET这个函数有自己的固定的两个参数
+ 不同点一：比较内容不同
+ 不同点二：函数格式不同
以上也是自己的一些浅见，如有错误，请各位大佬虚心赐教！
其他
字符串函数其实还有很多比较常见的，比如：
CONCAT(param1,param2,……)
这个函数里面也是有参数的，就是把两个或多个参数组合到一起的函数，当然还有CONCAT_WS(seperator,param1,param2,……)
根据第一个参数“分隔符”，来组合参数列表。
对于这个函数比较熟悉的就是写动态SQL的时候与LIKE操作符的应用，比如：
select a.name from a where a.is_delete =0
<if test="param.serachName!=''">
and a.name like concat('%',#{param.serachName},'%')
</if>
这也是为了单纯写like去传参数的话，会出现SQL注入的风险，所以采用这种方式来防止SQL注入
REPLACE(str,oldStr,newStr)
这里要注意的是mysql扩展中REPLACE是个插入更新语句，但它没有where字句，具体可以自行搜索查看
举个例子：
REPLACE('aaa.yuyueq.cn'，'a'，'w')
结果为：www.yuyueq.cn
SUBSTRING(str,index)
它会从一个特定长度的位置开始，提取一个子字符串。
也可以写为SUBSTRING(str FROM index),举个例子：
SUBSTRING('www.yuyueq.cn',5)
结果为：'yuyueq.cn'
要注意的是它不在遵循计算机的规律，也就是它是从1开始数的，并不是0，如果index参数是0.则返回一个空字符串
当然也可以截取字符串中字符串，比如
(substring(str,index,length)和下面这个是一样的)
SUBSTRING(str FROM index FROM length),举个例子：
SUBSTRING('www.yuyueq.cn',5,6)
结果为：'yuyueq'
TRIM([{BOTH|LEADING|TRAILING} [removed_str]] FROM str)
是从字符串中删除不需要的字符
TRIM ( [ [位置] [要移除的字串] FROM ] 字串): [位置] 的可能值为 LEADING (起头), TRAILING (结尾), or BOTH (起头及结尾)。
这个函数将把 [要移除的字串] 从字串的起头、结尾，或是起头及结尾移除。如果我们没有列出 [要移除的字串] 是什么的话，那空白就会被移除
trim操作个人感觉多用于动态SQL中吧，可以看看简书的这篇：mybatis动态SQL - trim where set标签
FORMAT(N,D,locale)
格式化具有特定区域设置的数字，舍入到小数位数。
N是要格式化的数字。
D是要舍入的小数位数。
locale是一个可选参数，用于确定千个分隔符和分隔符之间的分组。如果省略locale操作符，MySQL将默认使用en_US。以下链接提供MySQL支持的所有区域名称：
LEFT()
获取指定长度的字符串的左边部分。
LENGTH()函数&CHAR_LENGTH()
它是以字节和字符获取字符串的长度。
2.2 聚合函数
COUNT()
首先官方已经说了,count(*)和count(1)没有区别
InnoDB handles SELECT COUNT(*) and SELECT COUNT(1) operations in the same way. There is no performance difference.
其次，count(字段)和count(*)、count(1)的区别是：
- count(字段)会进行全表扫描，效率会很差，不计算NULL值
- count()、count(1)会计算NULL值，而且count()等同于count(0)
- count如果没有匹配的行，count()它直接返回0
四个计算
AVG()：取平均值
SUM()：求和
这里要注意的是，如果没有匹配的行，则 SUM()返回 NULL。
min()：最小值
max()：最大值
GROUP_CONCAT()
此函数返回一个字符串结果
举个例子:
假设a是用户表，b是一张用户兴趣(id)关联表，c是一张兴趣表；
下面的意思就是我们查询这个用户相关信息的时候，将相关联的兴趣放到一个字符串字段中，相当于显示用户详情的操作
SELECT
group_concat(DISTINCT c.name) AS interestName
FROM
a
left join b on a.id = b.user_id
left join c on b.interest_id = c.id
官方例子：GROUP_CONCAT( [DISTINCT] expr [,expr ...] [ORDER BY {unsigned_integer | col_name | expr}[ASC | DESC] [,col_name ...] ] [SEPARATOR str_val])
由官方例子可以看出里面可以进行去重、排序、用特定的分隔符展示（默认是“,”）
其次还要注意的是，它是不可以和IN操作符使用的，原因就和find_in_set那个函数一样，IN的列表的是值列表，group_concat是个字符串列表
2.3 控制流函数
控制流 是计算机执行一个程序中语句的顺序。 程序会从第一行代码开始执行直至最后一行，除非遇到（实际中是非常普遍地）改变控制流的代码结构，比如条件语句和循环。
注：函数和sql语句的用法是不一样，所以要多注意一点，此处都是函数的用法。
IF(expr1,expr2,expr3)
官方例子最致命
如果expr1是TRUE (expr1 不等于0 和 expr1 IS NOT NULL)，则返回expr2，否则，返回expr3.
mysql> SELECT IF(1>2,2,3);
-> 3
mysql> SELECT IF(1<2,'yes','no');
-> 'yes'
mysql> SELECT IF(STRCMP('test','test1'),'no','yes');
-> 'no'
strcmp函数可以看这里：https://dev.mysql.com/doc/refman/5.7/en/string-comparison-functions.html
IFNULL(expr1,expr2)
官方例子最致命
如果expr1不是 NULL， 则返回 expr1；否则返回 expr2。
mysql> SELECT IFNULL(1,0);
-> 1
mysql> SELECT IFNULL(NULL,10);
-> 10
mysql> SELECT IFNULL(1/0,10);
-> 10
mysql> SELECT IFNULL(1/0,'yes');
-> 'yes'
CASE
官方例子最致命
mysql> SELECT CASE 1 WHEN 1 THEN 'one'
-> WHEN 2 THEN 'two' ELSE 'more' END;
-> 'one'
mysql> SELECT CASE WHEN 1>0 THEN 'true' ELSE 'false' END;
-> 'true'
mysql> SELECT CASE BINARY 'B'
-> WHEN 'a' THEN 1 WHEN 'b' THEN 2 END;
-> NULL
NULLIF(expr1,expr2)
Returns NULL if expr1 = expr2 is true, otherwise returns expr1. This is the same as CASE WHEN expr1 = expr2 THEN NULL ELSE expr1 END.
如果第一个参数等于第二个参数，则返回NULL，否则返回第一个参数
官方例子最致命
mysql> SELECT NULLIF(1,1);
-> NULL
mysql> SELECT NULLIF(1,2);
-> 1
2.4 日期函数
| 函数名 | 描述 |
|---|---|
| ADDDATE() | 将时间值（间隔）添加到日期值 |
| ADDTIME() | 添加时间 |
| CONVERT_TZ() | 从一个时区转换到另一个时区 |
| CURDATE() | 返回当前日期 |
| CURRENT_DATE(),CURRENT_DATE | CURDATE() 的同义词 |
| CURRENT_TIME(),CURRENT_TIME | CURTIME() 的同义词 |
| CURRENT_TIMESTAMP(),CURRENT_TIMESTAMP | NOW() 的同义词 |
| CURTIME() | 返回当前时间 |
| DATE() | 提取日期或日期时间表达式的日期部分 |
| DATE_ADD() | 将时间值（间隔）添加到日期值 |
| DATE_FORMAT() | 按指定格式日期 |
| DATE_SUB() | 从日期中减去时间值（间隔） |
| DATEDIFF() | 减去两个日期 |
| DAY() | DAYOFMONTH() 的同义词 |
| DAYNAME() | 返回工作日的名称 |
| DAYOFMONTH() | 返回月份中的第几天 (0-31) |
| DAYOFWEEK() | 返回参数的工作日索引 |
| DAYOFYEAR() | 返回一年中的某一天 (1-366) |
| EXTRACT() | 提取日期的一部分 |
| FROM_DAYS() | 将天数转换为日期 |
| FROM_UNIXTIME() | 将 Unix 时间戳格式化为日期 |
| GET_FORMAT() | 返回日期格式字符串 |
| HOUR() | 提取小时 |
| LAST_DAY | 返回参数的月份的最后一天 |
| LOCALTIME(),LOCALTIME | 现在（）的同义词 |
| LOCALTIMESTAMP,LOCALTIMESTAMP() | 现在（）的同义词 |
| MAKEDATE() | 根据年份和日期创建日期 |
| MAKETIME() | 从小时、分钟、秒创建时间 |
| MICROSECOND() | 从参数返回微秒 |
| MINUTE() | 从参数返回分钟 |
| MONTH() | 从过去的日期返回月份 |
| MONTHNAME() | 返回月份的名称 |
| NOW() | 返回当前日期和时间 |
| PERIOD_ADD() | 为年月添加期间 |
| PERIOD_DIFF() | 返回期间之间的月数 |
| QUARTER() | 从日期参数返回季度 |
| SEC_TO_TIME() | 将秒转换为 'hh:mm:ss' 格式 |
| SECOND() | 返回第二个 (0-59) |
| STR_TO_DATE() | 将字符串转换为日期 |
| SUBDATE() | 使用三个参数调用时 DATE_SUB() 的同义词 |
| SUBTIME() | 减去时间 |
| SYSDATE() | 返回函数执行的时间 |
| TIME() | 提取传递的表达式的时间部分 |
| TIME_FORMAT() | 格式为时间 |
| TIME_TO_SEC() | 返回转换为秒的参数 |
| TIMEDIFF() | 减去时间 |
| TIMESTAMP() | 使用单个参数，此函数返回日期或日期时间表达式；有两个参数，参数的总和 |
| TIMESTAMPADD() | 向日期时间表达式添加间隔 |
| TIMESTAMPDIFF() | 从日期时间表达式中减去间隔 |
| TO_DAYS() | 返回转换为天的日期参数 |
| TO_SECONDS() | 返回自第 0 年以来转换为秒的日期或日期时间参数 |
| UNIX_TIMESTAMP() | 返回一个 Unix 时间戳 |
| UTC_DATE() | 返回当前 UTC 日期 |
| UTC_TIME() | 返回当前 UTC 时间 |
| UTC_TIMESTAMP() | 返回当前 UTC 日期和时间 |
| WEEK() | 返回周数 |
| WEEKDAY() | 返回工作日索引 |
| WEEKOFYEAR() | 返回日期的日历周 (1-53) |
| YEAR() | 返回年份 |
| YEARWEEK() | 返回年份和星期 |
三、SQL优化
上面的内容其实也设计到了很多规范的问题，但毕竟我是为了举例子所以在这提一些规范的操作。
数据库设计
- 冷热数据的分离，从而可以减少表的宽度
- 列的字段类型尽量可小去满足ta，否则建立索引需要的空间会很大，影响性能
- 尽量不要使用TEXT,BLOB数据类型
- 尽可能把所有列定义为 NOT NULL，这也是为了防止查询的时候NullPointException异常的出现
- 及时给数据库表和字段增添注释
- TIMESTAMP(4 个字节) 或 DATETIME 类型 (8 个字节) 存储时间
- 两者比时间戳更直观，但TIMESTAMP会有2038年的问题，
- TIMESTAMP具有'1970-01-01 00:00:01'UTC 到'2038-01-19 03:14:07'UTC 的范围
- 我个人是比较倾向于时间戳的，数据库中用bigint存储，编程中用Long值传递，至于前端展示就在前端做处理，很方便，就是数据库查看时间的时候不直观
- mysql 数据库存时间最好是时间戳还是格式的时间
MySQL将TIMESTAMP值从当前时区转换为UTC进行存储，并从UTC返回到当前时区进行检索。
(默认情况下，每个连接的当前时区是服务器的时间。时区可以在每个连接的基础上设置。只要时区设置保持不变，你就会得到与你存储的相同的值。
如果你存储一个TIMESTAMP值，然后改变时区并检索该值，检索到的值与你存储的值不同。出现这种情况是因为在两个方向的转换中没有使用相同的时区。当前的时区可以作为time_zone系统变量的值。
要注意MySQL中日期值解释的某些属性。
MySQL允许对指定为字符串的值采用 "宽松 "格式，其中任何标点符号都可以用作日期部分或时间部分之间的分隔符。在某些情况下，这种语法可能具有欺骗性。例如，像'10:11:12'这样的值可能看起来像一个时间值，因为有:，但如果在日期上下文中使用，则被解释为年份'2010-11-12'。值'10:45:15'被转换为'0000-00-00'，因为'45'不是一个有效的月份。
在日期和时间部分与小数秒部分之间，唯一可识别的分隔符是小数点。
服务器要求月和日的值是有效的，而不仅仅是分别在1到12和1到31的范围内。在禁用严格模式的情况下，无效的日期如'2004-04-31'被转换为'0000-00-00'并产生一个警告。在启用严格模式的情况下，无效的日期产生一个错误。要允许这样的日期，请启用ALLOW_INVALID_DATES。参见第5.1.10节 "服务器SQL模式"，以了解更多信息。
MySQL不接受在日或月列中包含零的TIMESTAMP值或不是有效日期的值。这个规则的唯一例外是特殊的 "零 "值"0000-00-00 00:00:00"，如果SQL模式允许这个值。准确的行为取决于是否启用了严格的SQL模式和NO_ZERO_DATE SQL模式；参见章节5.1.10, "服务器SQL模式"。
包含2位数年值的日期是模糊的，因为世纪是未知的。MySQL使用这些规则解释2位数的年值。
00-69范围内的年值成为2000-2069。
在70-99范围内的年值成为1970-1999。
具体参见官方：https://dev.mysql.com/doc/refman/5.6/en/date-and-time-types.html
SQL语句
- 尽量使用【select 字段】，而不要去使用【select *】
- 尽量将子查询变为JOIN语句，并且也要减少JOIN语句的使用，如果业务存在特殊要求，可以尝试使用虚拟表来提高查询效率
- where语句中，还是不要对列进行函数转换和计算
- 左右内连接要注意的是：ON后面的条件是为了生成两者临时表的条件，而where是为了筛选临时表中内容的条件
- 而且不管on上的条件是否为真都会返回left或right表中的记录；但inner jion没有这个特殊性，当条件放在on中和where中，没有区别，返回的结果集是相同的
- 我们都知道union关键字后，可以获取去重后的数据，而union all关键字，获取的是所有数据，包含重复的数据
- 所以当我们知道查出来的数据中没有重复值的时候选择union all，而且一般情况下尽可能的去选择union all，毕竟去重操作会遍历排序等等操作，消耗cpu资源。
- 以小表驱动大表
- 小表并不是指数据量很小的表，而是与另一张表对比，在同一条件下，哪张表检索量小，才是小表
要注意的是具体查询的时候要根据业务需求来，确定主表，不能为了小表驱动大表，而破坏查询逻辑
当连接查询没有where条件时，左连接查询时，前面的表是驱动表，后面的表是被驱动表，右连接查询时相反，内连接查询时，哪张表的数据较少，哪张表就是驱动表
当连接查询有where条件时，带where条件的表是驱动表，否则是被驱动表
in 适用于左边大表，右边小表。
exists 适用于左边小表，右边大表。
-
尽量不要在group by后面使用having语句，通常都是where在前，group by在后的过滤筛选操作
-
对应同一列进行 or 判断时，使用 in 代替 or
- in 的值不要超过 500 个，in 操作可以更有效的利用索引，or 大多数情况下很少能利用到索引
-
最后最重要的其实就是索引的问题，很多情况下要看sql到底有没有走索引，导致查询很慢，可以用explain命令去查看
- 索引这块涉及点是比较多的，这里不作过多内容
-
索引失效的情况
- 参见此篇文章：https://zhuanlan.zhihu.com/p/338545029
- 网上各种转载，还不给转载信息，也是替原作者可惜啊！
四、最后
有些情况下，我们要根据自己的业务来判断怎么使用SQL，但大多数情况下还是要遵循开发中默认好的规范操作。
这次是简单的记录了一下对与sql函数的应用理解，以及对于sql优化的应用，下次打算总结一下设计模式，和开发模型，
以前是因为很大程度上都是自己闷头学，企业级的项目也没有接触过，撑着这次实习把这些内容深刻的体会一下吧。
警言： 无论人生上到哪一层台阶，阶下有人在仰望你，阶上亦有人在俯视你。你抬头自卑，低头自得，唯有平视，才能看见真实的自己。
转载请注明原文链接：https://www.cnblogs.com/yuyueq/p/16039789.html
如果觉得这篇文章对你有小小的帮助的话，记得在右下角点个“推荐”哦，博主在此感谢你的支持！
