随笔分类 - 5、1数据分析工具 / 1、数据仓库 / 1、Hive（基于Hadoop的数仓管理工具）
摘要：1、Hive原理 2、HQL Hive数据库语言 3、自定义函数 4、数据仓库的设计
阅读全文
摘要：hive表连接没有SQL强，所以hive多构造大宽表，而不是，多个小表之间的表连接。hive表连接 join可以用，但是，效率低。下面，举一个可以用UNION ALL+group by +计算函数，代替表连接的例子。 - 需求：2019年每个用户的支付和退款金额汇总 --union allselec
阅读全文
摘要：UNION ALL：不去重不排序直接原表合并。UNION：先表合并、再去重、再排序。<=>作用等价于 先distinct去重、再UNION ALL表合并、再order by排序。 但是效率，后者是前者的3倍。所以，数据量大时，不建议直接用UNION，建议先去重再UNION ALL。
阅读全文
摘要：在1表但是不在2表的用户？ 错误解释 ：hive中的 in（）不能调用子查询。这是hive与SQL的明显差异。
阅读全文
摘要：背景： 其中的，get_json_object(表格目标字段（是JSON字符串）,'$.目标字段中的某个键值对的键盘') 解释：JSON不是hive的一种字符类型，所以，不能用desc 命令去查询判断出来是不是JSON字符串。（explain命令是查看hive语句的执行逻辑先后顺序的，desc命令是
阅读全文
摘要：区分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] sele
阅读全文
摘要：Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。我将以下图为例清空iot_devicelocation中的数据，之后再删除表、库等。 解释： use xpu123; #使用的库为xpu123 show tables; #显示该库中的所有的表名 首先来看一下iot_deivce
阅读全文
