2018年8月16日

Hadoop 综合揭秘——MapReduce 基础编程(介绍 Combine、Partitioner、WritableComparable、WritableComparator 使用方式)

摘要: 本章主要介绍 MapReduce 的开发原理及应用场景,让大家初步认识 MapReduce 的使用方式,讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP、JOIN 等操作,并对 GroupingComparator、SortComparator 等功能进行说明。对多数据集的连接查询进行分析,介绍如何通过 Map 端与 Reduce 端对多数据集连接进行处理。 阅读全文

posted @ 2018-08-16 11:18 风尘浪子 阅读(5373) 评论(0) 推荐(5) 编辑

导航