简单写下提交sql-map-shuffle-reduce的过程

 

 

 

 

 

 参考了很多资料写的结果,更多是学习(照搬前人成果)和了解map-shuffle-reduce过程种,到底做了什么事情。

 

 

 

1.map shuffle reduce
  a. shuffle过程
  b. map到shuffle的过程
  c. shuffle到reduce的过程
  d. 文件提交到map的过程
  e. reduce 完成到输出的过程
2.map join
3.reduce join
4.sql执行
5.mysql,orcle,hive计算引擎

posted on 2019-01-09 09:52  Jack_chengdu  阅读(134)  评论(0编辑  收藏  举报

导航