netskill - 博客园

2014年8月22日

摘要：行存储如图2所示，基于Hadoop系统行存储结构的优点在于快速数据加载和动态负载的高适应能力，这是因为行存储保证了相同记录的所有域都在同一个集群节点，即同一个HDFS块。不过，行存储的缺点也是显而易见的，例如它不能支持快速查询处理，因为当查询仅仅针对多列表中的少数几列时，它不能跳过不必要的列读取；此... 阅读全文

posted @ 2014-08-22 11:11 netskill 阅读(1292) 评论(0) 推荐(0) 编辑

2014年8月15日

HIVE安装

摘要：前提条件：1）已经完成HADOOP的安装。本文已安装HADOOP2.2.0。2）已经安装好MYSQL。1、下载HIVEhttp://apache.fayea.com/apache-mirror/hive/stable/下载apache-hive-0.13.1-bin.tar.gz。解压后，直接用，你... 阅读全文

posted @ 2014-08-15 15:43 netskill 阅读(289) 评论(0) 推荐(0) 编辑

使用MapReduce并行构建Lucene索引

摘要：本篇呢，我们里看下如何使用MapReduce来构建索引，代码如下：package com.mapreduceindex;import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.ut... 阅读全文

posted @ 2014-08-15 14:09 netskill 阅读(593) 评论(0) 推荐(0) 编辑

hadoop , lucene 分布式索引方案

摘要：一、lucene介绍Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人... 阅读全文

posted @ 2014-08-15 14:07 netskill 阅读(598) 评论(0) 推荐(0) 编辑

Hadoop的ChainMapper和ChainReducer实战

摘要： Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Mapper像Linux管道... 阅读全文

posted @ 2014-08-15 11:23 netskill 阅读(354) 评论(0) 推荐(0) 编辑

ChainMapper/ChainReducer 的实现原理

摘要： ChainMapper/ChainReducer 主要为了解决线性链式Mapper 而提出的。也就是说，在Map 或者Reduce 阶段存在多个Mapper，这些Mapper 像Linux 管道一样，前一个Mapper的输出结果直接重定向到下一个Mapper 的输入，形成一个流水线，形式类似于[MA... 阅读全文

posted @ 2014-08-15 11:21 netskill 阅读(383) 评论(0) 推荐(0) 编辑

2014年8月14日

mapreduce排序【二次排序】

摘要： mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）public static class Map extends Mapper public static class Reduce ... 阅读全文

posted @ 2014-08-14 16:59 netskill 阅读(1059) 评论(0) 推荐(0) 编辑

Map/Reduce中分区和分组的问题

摘要：全篇结论【分在同一组的一定同属一个分区。在一个分区的可重载"job.setGroupingComparatorClass(a.class);"中的a类的compare方法重新定义分组规则,同一组的value做为reduce的输入。】一、为什么写分区和分组在排序中的作用是不一样的，今天早上看书，又有点... 阅读全文

posted @ 2014-08-14 16:55 netskill 阅读(412) 评论(0) 推荐(0) 编辑

mapreduce原理【分区，分组】

摘要：分析这个原理，的原因是： 1、更好的理解MAPREDUCE的过程。 2、在二次排序时会用到这个原理，二次排序要重写分区方法，重写分组方法；如果原理没搞明白，就无法写二次排序的代码。Key默认分区默认分组自定义分区自定义分组Abc1231、使用系统默认分区方式，是按KEY进行分区。2、KEY相... 阅读全文

posted @ 2014-08-14 16:09 netskill 阅读(749) 评论(0) 推荐(0) 编辑

Hive 分区、桶、Sort Merge Bucket Join

摘要： Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hiv... 阅读全文

posted @ 2014-08-14 15:10 netskill 阅读(1282) 评论(0) 推荐(0) 编辑