随笔分类 - hive
摘要:生辰数字 select posexplode(split(repeat("o", datediff("2022-12-31", "2022-12-16")), "o")) 生成日期 with dates as ( select date_add("2012-01-01", a.pos) as d f
阅读全文
摘要:hive小文件合并。 当使用union all会产生多个文件夹,可以设定distributed by 或者reduce个数。 hive合并。 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nons
阅读全文
摘要:连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi
阅读全文
摘要:Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt
阅读全文
摘要:版本:ambari2.7.5 HDP3.1.5 hive 3.1.0 spark 2.3.0 配置spark-sql命令行方式处理Hive数据。 参考:https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/con
阅读全文
摘要:llap开启 设置llap_heap_size大小,,不能大于设置的Memory Per Daemon值 错误
阅读全文
摘要:set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.dynamic.partition=true;set hive.auto.convert.join = true;set hive.mapjoin.smalltable.fil
阅读全文
摘要:1、hive.mapred.mode=strict 对分区表进行查询必须设置where子句的分区条件 2、创建表引用HIve本身 create table parameter_example ( id string, name string, age int ) partitioned by (ye
阅读全文