对于MapReduce论文中作者提到的问题的列表

  1. 对于错误的处理

    1. 对于worker对象硬件错误进行处理 – re-execute

    2. 对于Master对象宕机错误的处理 – 断点接续

    3. 计算结果的语义错误 – 原子操作

  2. 对于稀缺的网络传输资源的任务分配逻辑 – 减少跨交换机的传输

  3. 任务粒度设置 – 根据任务需要以及经验进行设置

  4. 对于耗时过长的任务处理 – 进行任务备份同时让多个worker进行处理

  5. 对于项目的优化:

    1. 对于任务划分的优化

    2. 对于运行顺序的优化

    3. 对于临时结果组合的优化

    4. 对于输入输出类型的优化

    5. 对于附加结果的优化

    6. 对于错误输入的过滤

    7. 对于运行的本地性的优化

    8. 对于状态信息获取的优化

    9. 对于离散事件计数器的优化

posted @ 2021-12-23 20:05  NoobSir  阅读(25)  评论(0编辑  收藏  举报