Oozie常用命令及注意问题
Web界面:
检查配置文件是否有效:
oozie validate workflow.xml
提交作业并让作业进入PREP状态:
oozie job -oozie http://localhost:11000/oozie -config job.properties -submit
执行已提交的作业:
oozie job -oozie http://localhost:11000/oozie -start jobID
直接提交任务:
oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run
更新任务:
直接把新更改的文件上传到HDFS相应的目录下
杀死任务:
oozie job -oozie http://localhost:11000/oozie -config ./job.properties -kill jobid
重新执行失败的action或者任务:
oozie job -oozie http://localhost:11000/oozie -rerun job_id -refresh -action action_id -Doozie.wf.rerun.failnodes=true
oozie job -oozie http://localhost:11000/oozie -config job.properties -rerun jobID -D oozie.wf.rerun.failnodes=false
(注:此处的false代表整个workflow从头到尾开始执行,设置为true则代表从执行错误的action开始执行。一般设置成false进行执行)
查看oozie任务执行log日志:
oozie job -oozie http://localhost:11000/oozie -log XXXXXXX(对应任务的jobID)
注意相关问题:
1.当更新oozie任务时,更改workflow相关配置内容时,直接把workflow.xml替换到HDFS上即可。
2.job.properties 不需要进行上传到HDFS上,当更改job.properties和coordinator文件内容时,需要从新进行提交oozie任务,才会生效。
3.oozie重启的时候,尽量要选择没有调度任务在执行的时候,重启的时候,不会影响之前的定时任务,重启后仍然存在。
4.重跑之前的任务,修改job.properties中的开始和结束时间,直接再次进行提交即可,不会影响到之前的任务
5.oozie执行MR任务,一直处于Running状态,则进行相关调优,了解相关底层运行原理
<action name="test_action"> <hive xmlns="uri:oozie:hive-action:0.5"> <job-xml>${nameNode}/XXXX/hive-site.xml</job-xml> <configuration> <property> <name>oozie.launcher.mapreduce.map.java.opts</name> <value>-XX:PermSize=512m -XX:MaxPermSize=512m</value> </property> </configuration> <script>xxx.sql</script> <param>gs=${gs}</param> <param>dt=${dt}</param> </hive> <ok to="end"/> <error to="fail"/> </action>
posted on 2020-11-08 22:05 RICH-ATONE 阅读(570) 评论(0) 编辑 收藏 举报