随笔分类 -  大数据应用

摘要：HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，典型的 NoSQL（Not Only SQL）数据库。本文主要向各位介绍 HBase 的发展历史，基础结构与原理，应用的场景，对常用的 JAVA API 操作进行梳理，对RowKey的设计展开讨论。在最后一节还会详细讲述 HBase 与 MR 之间关系，通过实用例子介绍TableMapReduceUtil，TableMapper，TableReducer等工具类的使用方法。在现今大数据年代，了解NoSQL的开发可以说是技术人员入门的必修课程，希望本文对各位 阅读全文

摘要：本章主要介绍 MapReduce 的开发原理及应用场景，让大家初步认识 MapReduce 的使用方式，讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP、JOIN 等操作，并对 GroupingComparator、SortComparator 等功能进行说明。对多数据集的连接查询进行分析，介绍如何通过 Map 端与 Reduce 端对多数据集连接进行处理。 阅读全文