2020年5月26日

自己生成了分区文件，hive建立LOCATION 后查不出数据

摘要： 这个情况是hive不去检查已经分区的内容也就是分区在hive元空间中未注册； 那么MSCK REPAIR TABLE tablename 就可以解决这个问题 另外，动态分区参数 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.p 阅读全文

posted @ 2020-05-26 15:51 Zhearts 阅读(958) 评论(0) 推荐(0) 编辑

airflow dag 运行 远程调度命令 特如 sshpass

摘要： 有时需要在airflow中运行如sshpass远程免密登录调度指令的 所需元素 1、包：from airflow.contrib.operators.ssh_operator import SSHOperator 2、bash sh_bash = ''' sshpass -p ‘XXXXXX’ ss 阅读全文

posted @ 2020-05-26 15:11 Zhearts 阅读(931) 评论(0) 推荐(0) 编辑

导航