hadoop与spark执行定时任务，linux执行定时任务

1、mapreduce任务可以用linux上的crontab来执行定时任务

　 用crontab执行定时任务时注意：手动运行脚本会执行，可是定时就不行。原因：应该重新指定环境变量

　

#!/bin/bash


#if [ -f ~/.bash_profile ];
#then
#  . ~/.bash_profile
#fi
. /etc/profile
spark-submit --class app.AllInfo --master yarn-cluster  --jars /home/lw/myapp/mylibs/spark_hbase_fat.jar /home/lw/myapp/weatherDisplay.jar

 

2、spark任务还可以用sparkStreamingContext来设置，spark任务执行时间间隔，来执行定时任务。

 

两者区别：1由linux维护，2由spark维护