摘要：
首先可以查看hdfs文件， hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6 执行后得到 hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()- 阅读全文
摘要：
上篇中已经分析了DAGscheduler的监听机制，以及job的划分，这次我们再来看一看stage是如何划分以及stage的最终提交； 当jobsubmit 加入到DAGscheduler的event队列中的时候， 就会将job的stage划分为resultstage 和 shufflestage， 阅读全文