从hdfs导入数据到hive表
摘要：在文件已经导入（存入）hdfs之后，需要建表进行映射才可以show tables。 现在假设文件已导入该hdfs目录： /apps/hive/warehouse/db_name.db/tb_name （这里也可能是其他文件，如csv，txt等，如：/username/test/test.txt） 方
阅读全文
posted @ 2020-12-06 22:05
随笔分类 - sql相关文档
sql的使用技巧
Python和Mysql：base64编码和解码字符串，短信sms解码
摘要：Base64编码常作为电子邮件的传输编码，将邮件内容编码成ascii码进行传输。 Base64编解码原理：可见。 Python和Mysql中都提供了base64编码和解码的函数。 Python：直接使用字符串编码会报错TypeError: a bytes-like object is require
阅读全文
posted @ 2020-05-19 22:11
Linux登录Mysql
摘要：在Linux登录Mysql主要有： 1. 登录本地mysql: mysql -u 用户名 -p # 例如 mysql -u root -p #先输入，回车 # 也可不用空格 mysql -u用户名 -p 然后提示输入密码，回车即可； 2. 登录远程mysql：有主机名和端口号，有时也没有端口号 my
阅读全文
posted @ 2020-04-30 10:12
Mysql分组排序的三种方法以及substring_index
摘要：用惯了hive的row_number，在Mysql中想要使用分组排序的功能时，却发现不那么简单 —— 貌似不能一个函数解决。 有时候又特别需要使用，怎么办呢？不慌，这也还是有方法的。 首先建立数据表： create table t_variable ( name_people VARCHAR(255
阅读全文
posted @ 2020-04-27 17:26
Mysql用户变量之@使用
摘要：Mysql用户变量的形式是：@var，其可以使用的场合很多，例如新增一列排序值、分组排序等。 下面让我们来探讨一下其部分应用场景。 1. 首先建表，插入数据： create table t_variable ( name_people VARCHAR(255) NOT NULL comment '姓
阅读全文
posted @ 2020-04-27 16:58
Mysql的日期函数之curdate、date_add、date_sub、datediff、timediff
摘要：本篇主要讲述Mysql的curdate、curtime、date_add、date_sub、datediff、timediff等函数。 1. 获取当前的日期时间：now select now(); #获取当前的日期时间 2. 当前日期、时间：curdate、curtime select curdat
阅读全文
posted @ 2020-04-26 22:06
mysql的if 和 case when
摘要：mysql中的条件语句主要有if 和case when。 首先，一个初始表格：felix_test 1. IF(expr1,expr2,expr3)：如果第一个条件为True,则返回第二个参数，否则返回第三个 select if(author='Felix', 'yes', 'no') as AU
阅读全文
posted @ 2020-04-06 15:53
mysql语句的书写顺序和执行顺序
摘要：mysql语句的书写顺序和执行顺序有很大差异。 书写顺序，mysql的一般书写顺写为： select <要返回的数据列> from <表名> <join, left join, right join...> join <join表> on <join条件> where <where条件> group
阅读全文
posted @ 2020-03-02 21:30
Mysql的数据类型
摘要：Mysql的数据类型有很多，主要可以分为三大类： 数值类型、字符串类型、时间和日期类型。 注意： 一个汉字3个字节（utf-8）;2个字节（gbk）： select length(name_adress) from my_test_copy as len; #该列的各个长度，字节，一个汉字3个字节（
阅读全文
posted @ 2020-02-21 19:55
Mysql截取字符串
摘要：在Mysql中，有时候会用到截取字符串然后相互连接的情形，其中截取字符串用的是SUBSTRING操作，连接用的是CONCAT操作： 1. 直接截取 SELECT LEFT('what is your name? please tell me',5); #从左开始截取字符串，left(str, len
阅读全文
posted @ 2020-02-20 21:52
Mysql的join语句
摘要：mysql超强功能之一：join # group by 必须放在 order by 和 limit之前，不然会报错 # 你可以在 SELECT, UPDATE 和 DELETE 语句中使用 Mysql 的 JOIN 来联合多表查询。 # JOIN 常用分为如下三类(但不仅仅只有这三类)： # INN
阅读全文
posted @ 2020-02-20 21:35
mysql的distinct，count，in 和 offset 使用
摘要：1. distinct：去重 # distinct select distinct name_adress from my_test_copy; # 得到去重字段 select count(distinct name_adress) as distinct_rows from my_test_cop
阅读全文
posted @ 2020-01-15 21:18
mysql基础使用—— 判断空值，查询建表，[Err] 1055 以及随机取出记录
摘要：1. 判断是否是空值 is not null 和 is null select * from XXX where column_name is not null; select * from XXX where column_1 is not null and column_2 is not nul
阅读全文
posted @ 2020-01-15 21:00
Every derived table must have its own alias
摘要：在mysql中，多个表查询出现错误：Every derived table must have its own alias 原因：中间表或者select产生的表，没有使用别名。 解决方法： 新产生的表加入别名： 例如： select * from select id, content from XX
阅读全文
posted @ 2020-01-15 20:36
[Err] 1060 - Duplicate column name 'XXX'
摘要：在mysql中，多个表联合查询时，出现错误：[Err] 1060 - Duplicate column name 'XXX' 原因： 使用的是：select * 操作，造成了列名重复，例如a表里面有列名'content'，b表里面也有列名'content'，此时就会报错。 解决方法： 直接指定想要返
阅读全文
posted @ 2020-01-15 20:29
[Err] 1052 - Column 'XXXXX' in field list is ambiguous
摘要：在mysql中，多个表关联查询时，出现错误：[Err] 1052 - Column 'school_province' in field list is ambiguous 原因： select 的字段中有相同的列名 'XXXXX'，但是却没有指定这个列名时来自那哪一个表，于是冲突。 解决方法： 给
阅读全文
posted @ 2020-01-15 20:09
[Err] [Row1] [Imp] 1062 - Duplicate entry '1' for key 'PRIMARY'
摘要：在navicat中导入*.xls数据时，出现错误：[Err] [Row1] [Imp] 1062 - Duplicate entry '1' for key 'PRIMARY' 原因： 因为我创建原始表的时候，设置了primary key为 id，并且自增。但是我的要导入的excel表里面也有一列时
阅读全文
posted @ 2020-01-15 19:54
python读写mysql数据库
摘要：方法一： 1. python连接mysql数据库：需要用到 pymysql 库和 sqlalchemy库： import pandas as pd from sqlalchemy import create_engine import pymysql 创建连接 create_engine： con_
阅读全文
posted @ 2019-11-22 21:36
sql的匹配和正则表达式
摘要：1. 匹配：like 关键字 #假设存在表 my_test_copy select * from my_test_copy; 则使用like关键词匹配：注意下划线 '_'和百分号 '%' # 下划线'_'匹配任意单个字符 # 百分号'%'匹配任意数目的字符 select * from my_test
阅读全文
posted @ 2019-11-19 22:25
mysql：[Err] 1075 - Incorrect table definition; there can be only one auto column and it must be defined as a key
摘要：删除主键时，出错：[Err] 1075 - Incorrect table definition; there can be only one auto column and it must be defined as a key alter table table_name drop primar
阅读全文
posted @ 2019-11-19 21:33
