RICH-ATONE

Oozie常用命令及注意问题

Web界面:

 http://localhost:11000/oozie 

检查配置文件是否有效:

oozie validate workflow.xml 

提交作业并让作业进入PREP状态:

oozie job -oozie http://localhost:11000/oozie -config job.properties -submit

执行已提交的作业:

oozie job -oozie http://localhost:11000/oozie -start jobID

直接提交任务:

oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run

更新任务:

直接把新更改的文件上传到HDFS相应的目录下

杀死任务:

oozie job -oozie http://localhost:11000/oozie -config ./job.properties -kill jobid

重新执行失败的action或者任务:

oozie job -oozie http://localhost:11000/oozie -rerun job_id -refresh -action action_id -Doozie.wf.rerun.failnodes=true 

oozie job -oozie http://localhost:11000/oozie -config job.properties -rerun jobID -D oozie.wf.rerun.failnodes=false 

(注:此处的false代表整个workflow从头到尾开始执行,设置为true则代表从执行错误的action开始执行。一般设置成false进行执行) 

查看oozie任务执行log日志:

oozie job -oozie  http://localhost:11000/oozie -log XXXXXXX(对应任务的jobID)

 

注意相关问题:

1.当更新oozie任务时,更改workflow相关配置内容时,直接把workflow.xml替换到HDFS上即可。

2.job.properties 不需要进行上传到HDFS上,当更改job.properties和coordinator文件内容时,需要从新进行提交oozie任务,才会生效。

3.oozie重启的时候,尽量要选择没有调度任务在执行的时候,重启的时候,不会影响之前的定时任务,重启后仍然存在。

4.重跑之前的任务,修改job.properties中的开始和结束时间,直接再次进行提交即可,不会影响到之前的任务

5.oozie执行MR任务,一直处于Running状态,则进行相关调优,了解相关底层运行原理

    <action name="test_action">
        <hive xmlns="uri:oozie:hive-action:0.5">
            <job-xml>${nameNode}/XXXX/hive-site.xml</job-xml>
            <configuration>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-XX:PermSize=512m -XX:MaxPermSize=512m</value>
                </property>
            </configuration>
            <script>xxx.sql</script>
            <param>gs=${gs}</param>
            <param>dt=${dt}</param>
         </hive>
         <ok to="end"/>
         <error to="fail"/>
  </action>

 

posted on 2020-11-08 22:05  RICH-ATONE  阅读(570)  评论(0编辑  收藏  举报

导航