MapReduce的计算模型(编程模型)
MapReduce的主要应用场景
可以转化为MR任务的条件:
- 问题必须可以拆分
- 子问题必须独立
- 数据结构能够满足key-value的这样的模式
常见场景:
- 计数与求和,如：日志查询、统计分析
- 整理归类，如：构建倒排索引，ETL（Extract-Transform-Load 用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。）、数据查询校验
- 分布式任务执行，如：性能测试
- 排序，排重，如：数据分析，ETL
- 关系运算，如：连接、投影
- 图处理，如：网页索引，图分析
MapReduce的不适用的场景
- 任务之间有结果依赖，如 斐波那契数列 Fn=F(n-1)+F(n-2)
- 处理需要及时相应的任务，高并发请求的任务
MapReduce开发基本思路和流程
思路
- 任务是否可以拆分?
- 子任务是否独立？
- 树立业务需求，将数据需求转化为（K,V）模式
- 选择设计K和V
- 设计K和V的经过map和reduce的变换过程，一次迭代不够则需要多次
流程
- 继承Mapper类，实现map函数
- 继承Reducer类，实现reduce函数
- 设置Job相关信息
- 提交Job运行
MapReduce Java API
