BD基础02mapreduce,yarn,hive

 

 

 

1  算切片,检查路径,提交资源到hdfs最终要求2分布作业

2  调度和资源管理两个任务,1触发2作业后,2从hdfs把切片下载过了,根据资源负载情况,来考虑每个切片的map该去哪个节点。Task Tracker同步心跳,知道处理哪个作业了。从对应的路径取到jar包,然后启动JVM进程,如果2告诉T T是map或者是reduce,就开始跑map或者reduce。

Datanode存数据, TT干活的。

 

 

 

 

 

 03yarn

 

 

 

 

 

 

 

 

posted @ 2019-05-08 15:04  tacyi  阅读(112)  评论(0编辑  收藏  举报