随笔分类 -  大数据应用

解说Hadoop、HBase、Hive、NoSQL等分布式技术应用
Hadoop 综合揭秘——HBase的原理与应用
摘要:HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式数据库,典型的 NoSQL(Not Only SQL)数据库。本文主要向各位介绍 HBase 的发展历史,基础结构与原理,应用的场景,对常用的 JAVA API 操作进行梳理,对RowKey的设计展开讨论。在最后一节还会详细讲述 HBase 与 MR 之间关系,通过实用例子介绍TableMapReduceUtil,TableMapper,TableReducer等工具类的使用方法。在现今大数据年代,了解NoSQL的开发可以说是技术人员入门的必修课程,希望本文对各位 阅读全文

posted @ 2018-09-10 10:52 风尘浪子 阅读(9660) 评论(1) 推荐(3) 编辑

Hadoop 综合揭秘——MapReduce 基础编程(介绍 Combine、Partitioner、WritableComparable、WritableComparator 使用方式)
摘要:本章主要介绍 MapReduce 的开发原理及应用场景,让大家初步认识 MapReduce 的使用方式,讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP、JOIN 等操作,并对 GroupingComparator、SortComparator 等功能进行说明。对多数据集的连接查询进行分析,介绍如何通过 Map 端与 Reduce 端对多数据集连接进行处理。 阅读全文

posted @ 2018-08-16 11:18 风尘浪子 阅读(5384) 评论(0) 推荐(5) 编辑

导航

统计

点击右上角即可分享
微信分享提示