随笔分类 - 06.hive
摘要：-- 删除分区 alter table employee_table drop partition (stat_year_month>='2018-01'); 修复分区、删除分区、添加分区、显示分区 MSCK REPAIR TABLE table_name; https://www.cnblogs.
阅读全文
摘要：问题 修改分区表的列（添加列）但是查询数据为null 原因 修改分区表导致分区字段元数据出问题，需要更新分区信息 解决方法1：修改元数据 https://blog.csdn.net/gxd520/article/details/92791487?utm_medium=distribute.pc_re
阅读全文
摘要：hive通过with创建临时表 overwrite重新分区表
阅读全文
摘要：hive-load上传数据到hive表 hive表数据导出到本地为csv hive -e "set hive.cli.print.header=true; #将表头输出 select * from data_table where some_query_conditions" | sed 's/[\
阅读全文
摘要：018.hive-hive两个表leftjoin，由于关联字段类型不同导致的数据错误（bigint、string） select b1.member_id b1,b2.member_id b2 from tmp1_ads_cstm_member_balance b1 left join tmp2_a
阅读全文
摘要：resources下 log4j.properties 文件 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target
阅读全文
摘要：show databases; show tables; 系统自带的函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function exte
阅读全文
摘要：spark下 [root@s101 /soft/spark/bin]#./beeline Beeline version 1.2.1.spark2 by Apache Hive beeline> !connect jdbc:hive2://s101:10000/mydb 0: jdbc:hive2:
阅读全文
摘要：hive--lead()上浮、lag()下沉--求同比 select occur_period ,occur_period_year ,occur_period_month ,org_name ,people_num ,people_num_2 -- （今年这个月人数 - 去年这个月人数）/去年这个
阅读全文
摘要：修改表的文件存储格式组织方式： ALTER TABLE table_name SET FILEFORMAT file_format alter table table_name set fileformat rcfile ALTER TABLE table_name CLUSTERED BY (co
阅读全文
摘要：4 主意:collect_set 只能返回不重复的集合 若要返回带重复的要用collect_list 组内拼接排序 select occur_period , sort_array(collect_list(num_jdz_2)) from qhtest.num_zws_update_test gr
阅读全文
摘要：hive递增 insert into table user_tables select ( concat ('sz000',row_number() over() ) ) 左填充 lpad() 右填充 rpad()
阅读全文
摘要：select occur_period ,arr_1 ,case when size(arr_1)%2=1 then arr_1[cast((size(arr_1)-1)/2 as int )] else (arr_1[cast(size(arr_1)/2 as int) ]+arr_1[cast(
阅读全文
摘要：hive 里的向上取整、向下取整、四舍五入取整的实例.以及精确保留小数位数。 【四舍五入取整截取】 select round(54.56,0) round至少保留一位小数。 55.0 【向下取整截取】 SELECT FLOOR(54.56) 54 【向上取整截取】 SELECT CEILING(13
阅读全文
摘要：选择tableName表中除了name、id、pwd之外的所有字段： set hive.support.quoted.identifiers=None; select `(name|id|pwd)?+.+` from tableName;
阅读全文
摘要：IDEA 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem
阅读全文
摘要：在Hive上有两种类型的表，一种是Managed Table，另一种是External Table。它俩的主要区别在于：当我们drop表时，Managed Table会同时删去data和meta data，而External Table只会删meta data。 一、Create Table 两者建
阅读全文
摘要：desc tablename; desc formatted tablename; show create table tablename;
阅读全文
摘要：sqoop导入数据到hive但是metastore不能连接重新配置的mysql中的metastore 0.修改 /soft/hive/conf/hive-site.xml <property> <name>hive.metastore.local</name> <value>false</value
阅读全文
摘要：1.开启 zk [centos@s101 /soft/hive/bin]$xzk.sh start [centos@s101 /soft/hive/bin]$start-dfs.sh 启动 hdfs yarn start-all.sh 2.开启hiveserver2服务， 启动hiveserver2
阅读全文
