随笔分类 -  hive

摘要:生辰数字 select posexplode(split(repeat("o", datediff("2022-12-31", "2022-12-16")), "o")) 生成日期 with dates as ( select date_add("2012-01-01", a.pos) as d f 阅读全文
posted @ 2023-01-05 16:10 Wind_LPH 阅读(427) 评论(0) 推荐(0) 编辑
摘要:hive小文件合并。 当使用union all会产生多个文件夹,可以设定distributed by 或者reduce个数。 hive合并。 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nons 阅读全文
posted @ 2022-01-27 10:23 Wind_LPH 阅读(835) 评论(0) 推荐(0) 编辑
摘要:连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi 阅读全文
posted @ 2021-06-21 18:05 Wind_LPH 阅读(318) 评论(0) 推荐(0) 编辑
摘要:Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt 阅读全文
posted @ 2021-05-25 12:55 Wind_LPH 阅读(658) 评论(0) 推荐(0) 编辑
摘要:版本:ambari2.7.5 HDP3.1.5 hive 3.1.0 spark 2.3.0 配置spark-sql命令行方式处理Hive数据。 参考:https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/con 阅读全文
posted @ 2021-01-01 17:04 Wind_LPH 阅读(471) 评论(0) 推荐(0) 编辑
摘要:llap开启 设置llap_heap_size大小,,不能大于设置的Memory Per Daemon值 错误 阅读全文
posted @ 2021-01-01 15:30 Wind_LPH 阅读(378) 评论(0) 推荐(0) 编辑
摘要:set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.dynamic.partition=true;set hive.auto.convert.join = true;set hive.mapjoin.smalltable.fil 阅读全文
posted @ 2020-11-05 09:55 Wind_LPH 阅读(395) 评论(0) 推荐(0) 编辑
摘要:1、hive.mapred.mode=strict 对分区表进行查询必须设置where子句的分区条件 2、创建表引用HIve本身 create table parameter_example ( id string, name string, age int ) partitioned by (ye 阅读全文
posted @ 2020-10-22 22:29 Wind_LPH 阅读(290) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示