Hive中ORC和TEXTFILE插入数据的方式
摘要:最近在工作的时候踩坑了,在Hive进行数据加工的时候按照同事写好的建表语句来造数往里插数据。 同事在建表的时候使用的stored AS orc;一般在工程中都是使用这种方式,有高压缩比其性能更好。 在本次需求中需要保留一部分数据来进行测试(这个项目是很久之前做的了,之前让优化,优化完毕之后让自己造数
阅读全文
posted @
2021-08-30 15:01
桌子哥
阅读(4219)
推荐(0) 编辑
SQL练习题(76-91)学习笔记(来源于牛客网)
摘要:最近看到牛客的MySQL更新了,做了几道从后数的,和大家分享下。 SQL76 考试分数(五) 描述 牛客每次考试完,都会有一个成绩表(grade),如下: 第1行表示用户id为1的用户选择了C++岗位并且考了11001分 。。。 第8行表示用户id为8的用户选择了B语言岗位并且考了9999分 请你写
阅读全文
posted @
2021-08-18 22:43
桌子哥
阅读(414)
推荐(0) 编辑
Hive中将结果表数据获取并且重新以参数形式赋予到SQL脚本中的一种实践办法
摘要:最近使用Hive来加工一批数据形成标签宽表,其中有一部分的标签需要根据统计规律来进行标定,而这些统计规律是需要依赖于之前的结果表。 例如,需要统计规律的结果表如下: -- 参数设置SET hivevar:param_1 = ${hiveconf:param_1};SET hivevar:param_
阅读全文
posted @
2021-08-06 14:53
桌子哥
阅读(638)
推荐(0) 编辑