hive 命令行传入参数

azkban实现任务重跑

我们执行sql的方式是将hql文件上传到服务器本地。然后执行shell命令

hive -hivevar dt="2019-04-07" -f ./test_scheduler.hql

注：hive -e 是执行依据短sql，hive -f是执行hql文件

 

test_scheduler.hql的内容是需要执行的sql语句，参数的写法如下图：

select * from ods.test where dt = ${dt};

 

azkaban 传入参数

1.配置job，如下，用 ${参数名} 传入参数

type=command
dependencies=start
command= sh /data/etl/test/para_test.sh ${p}

2.上传zip包，azkaban web，执行任务页面传入参数

执行页面，选择配置参数 Flow Parameters

写入job中的参数名和 参数值

执行。
这样就将参数从外部传入azkaban，并最终作为hive sql的参数执行了。