dairui130

导航

2019年4月9日 #

hive 命令行传入参数

摘要: azkban实现任务重跑 我们执行sql的方式是将hql文件上传到服务器本地。然后执行shell命令 注:hive -e 是执行依据短sql,hive -f是执行hql文件 test_scheduler.hql的内容是需要执行的sql语句,参数的写法如下图: azkaban 传入参数 1.配置job 阅读全文

posted @ 2019-04-09 23:49 dairui130 阅读(1610) 评论(0) 推荐(0) 编辑

emr hadoop 参数调优

摘要: set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=100000000; set mapred.task.timeout=60000000; set hive.exec.compress.intermediate=true; set hive.exec.parall... 阅读全文

posted @ 2019-04-09 21:47 dairui130 阅读(316) 评论(0) 推荐(0) 编辑

hive 语法 case when 语法

摘要: 注意: end不能少 阅读全文

posted @ 2019-04-09 17:36 dairui130 阅读(4207) 评论(0) 推荐(0) 编辑

er图

摘要: 实体是长方形,属性是椭圆形,关系为菱形。 阅读全文

posted @ 2019-04-09 13:35 dairui130 阅读(226) 评论(0) 推荐(0) 编辑