对于MapReduce论文中作者提到的问题的列表
-
-
对于worker对象硬件错误进行处理 – re-execute
-
对于Master对象宕机错误的处理 – 断点接续
-
计算结果的语义错误 – 原子操作
-
-
对于稀缺的网络传输资源的任务分配逻辑 – 减少跨交换机的传输
-
任务粒度设置 – 根据任务需要以及经验进行设置
-
对于耗时过长的任务处理 – 进行任务备份同时让多个worker进行处理
-
对于项目的优化:
-
对于任务划分的优化
-
对于运行顺序的优化
-
对于临时结果组合的优化
-
对于输入输出类型的优化
-
对于附加结果的优化
-
对于错误输入的过滤
-
对于运行的本地性的优化
-
对于状态信息获取的优化
-
-