Hadoop调度框架

 

    大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下： 

• 1，数据转换工具Sqoop 
  2，文件搜集框架Flume 
  3，任务调度框架Oozie 
  4，大数据Web工具Hue

• 任务调度框架 
  1，Linux Crontab 
  2，Azkaban –https://azkaban.github.io/ 
  3，Ozie –http://oozie.apache.org/ 功能强大 难度大 
      工作流调度 
      协作调度（定时，数据可用性） 
      binder(批量) 
  4，Zeus –https://github.com/michael8335/zeus2

 

 

 

 

Hadoop调度框架

• Linux  Crotab
• Azkaban　　

　　　　http://azkaban.github.io/

• Oozie

　　　　http://oozie.apache.org/

• Zeus

　　　　https://github.com/michael183335/zeus2

 

　　QUARTZ调度框架，但是多个作业时，缺点就出来了。

 

 

 

 

 

Linux  Crotab

　　是针对每个用户而言。

　　crontab -e 就是加任务

　　规则如下：

　　　　*   *   *   *   *   cmd

　　　　前面的五个*分别是表示设置的时间，即分钟、时、天、月和星期。然后cmd就是代表具体的命令。

 

　　比如：

　　

crontab -e 

## first crontab
*/1   *   *    *   *  /bin/date  >>  /home/hadoop/date.log

　　这个date.log是我们自己新建的。

 

　　查看任务

crontab -l

 

　　删除任务

crontab -r

 

 

 

 

针对Hadoop任务作业调度

　　针对mr怎么来写呢

　　　　/home/hadoop/app/hadoop-2.6.0-cdh5.5.4/bin/hadoop jar   /home/hadoop/jar/***.jar   com.***  input  output

　　我一般喜欢把myeclipse或eclipse那边打好的jar包，放到/home/hadoop/jar目录下

 

　　针对hive怎么来写呢

　　　　/home/hadoop/app/hive-1.1.0-cdh5.5.4/bin/hive    -f   hive-select-log.sql

　　hive-select-log.sql是我们自己写好的sql脚本

 

　　针对sqoop怎么来写呢

　　　　/home/hadoop/app/sqoop-1.4.6-cdh5.5.4/bin/sqoop  --options -file  sqoop-imoort.sh

　　sqoop-imoort.txt是我们自己写好的脚本

 

　　针对shell script怎么来写呢

　　 bin/sh  ***.sh

　　　　 先写好hive，再写好sqoop脚本

 

 

　　这里，我重点使用Oozie和Azkaban。

Oozie安装部署

Oozie安装的说明

 

Azkaban2.5安装部署（系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装）（博主推荐）（五）