2022.10.15周总结

hive数据传输mysql数据库，findBI可视化图标，正则表达式复习

 

在hive中建立一个实例：如liqx

create database liqx;
二、使用liqx实例，在其中建一张名为coordinate的表，通过“\t”的方式切割字段。（生产环境中涉及到每天的落地日志时，可以以年月日的方式来建立分区“partition”）
①、全国城市坐标（经度纬度）：coordinate

CREATE TABLE `coordinate`(
`code` string,
`name` string,
`longitude` string,
`latitude` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

附上分区（“year”、“month”、“day”）代码：

CREATE TABLE `coordinate`(
`code` string,
`name` string,
`longitude` string,
`latitude` string)
partitioned by (year string,mounth string,day string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

三、使用load方式将hdfs中的coordinate.txt文件导入到hive数据库中

load data inpath '/user/hive/warehouse/coordinate.txt' into table coordinate;
四、查看一下数据，总共3521行数据

五、在MySQL数据库中创建一张名为“coordinate”的表

#建表语句#

CREATE TABLE `coordinate` (
`code` varchar(12) NOT NULL COMMENT '编码',
`name` varchar(50) DEFAULT NULL COMMENT '城市名称',
`longitude` double DEFAULT NULL COMMENT '经度',
`latitude` double DEFAULT NULL COMMENT '纬度',
PRIMARY KEY (`code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

六、编写shell脚本，先查询hive，并将得到的结果重定向为txt文件，再将txt文件load到MySQL数据库中

①：创建一个名为coordinate.sh的shell脚本，并给予可执行权限

touch coordinate.sh

chmod +x coordinate.sh

②：查询hive，并将得到的结果重定向为txt文件

hive -e "select * from liqx.coordinate" > /home/data/etl/coordinate/coordinate.txt
③：再将txt文件load到MySQL数据库中

mysql -h192.168.133.135 -uroot -proot test -e "load data local INFILE '/home/data/etl/coordinate/coordinate.txt' INTO TABLE coordinate FIELDS TERMINATED BY '\t'"
④：再在各语句开始和结尾处进行时间监测，渲染一下后得到shell脚本如下

七、保存出后执行coordinate.sh文件（执行过程中可再打开一个窗口通过hadoop job -list 查看Hadoop任务）

八、通过ll命令可查看到目录中多了一个coordinate.txt文件，即shell脚本中执行hive查询后得到的内容，通过more coordinate.txt命令可对文件内容进行查看

九、再去MySQL中进行查询，验证数据是否被load到coordinate表中

十、比较hive、txt、MySQL中数据量是否一致

select count(1) from liqx.coordinate;

wc -l coordinate.txt

select count(1) from test.coordinate;