航天云网大数据调度平台使用感受

小插曲： 上传JAR包到大数据平台，不小心出现上传错误，删除方法如下：

ls -i   

 

 

 

正文：

1  配置worker

 

 

 

 

 

2  航天云网平台的Task ( SHELL  和 JAR ) 需要上传到Worker 任意一台服务器上。（

有的调度平台是把任务直接上传到HDFS上面，任务日志也是在HDFS上面，多台WORK 根据YARN 调度算法（比如公平调度器），自动分配任务。

猜想有多个Worker ，可能会出现 调度的机器没有 task (SHELL  和 JAR)，会从源自动分发。（涉及任务版本问题）

所以这点感觉不合理

）