Hadoop HBase 配置 安装 Snappy 终极教程
摘要：因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写Hadoop Snappy安装过程，大部分是照着Google的文档翻译了一遍，并没有列举出遇到的问题。有的博文，明明其验证提示是错误的，还说如果输出XXX，说明安装成功了。费了老大的劲，终于毫无错误的安装成功了，现将详细步骤及遇到的问题，一一列出，只希望接下来需要研究及安装的朋友，看到这篇博文，能够一气安装成功！本篇文章主要包括：
1. Snappy 压缩算法介绍及集中压缩算法比较
2. Native Snappy 安装过程及验证
3. Hadoop Snappy 源码编译过程
4. Hadoop Snappy 安装配置过程及验证
5. HBase 配置Snappy及验证
阅读全文
posted @
2013-01-14 14:53
石头儿
阅读(14594)
推荐(6) 编辑
HDFS学习(三) – Namenode and Datanode
摘要：HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。
这里主要介绍：
1.Namenode是什么，其作用是什么？
2.Datanode是什么，其作用是什么？
3.简要介绍Hadoop HA.
阅读全文
posted @
2013-01-07 10:06
石头儿
阅读(5751)
推荐(2) 编辑
HDFS学习(二) – HDFS Block介绍
摘要：HDFS Block 是HDFS很重要的一个概念，这里主要简述：
1.HDFS Block 概念
2.HDFS Size 大小设计
3.HDFS Block抽象有什么好处
阅读全文
posted @
2013-01-06 09:59
石头儿
阅读(2894)
推荐(1) 编辑
Hadoop Snappy安装错误锦集
摘要：Hadoop snappy build的几个问题。
阅读全文
posted @
2013-01-05 15:08
石头儿
阅读(4230)
推荐(3) 编辑
编译时autoconf问题
摘要：这个是因为编译的时候带了native 参数，但是没装autotool。Centos下。yum install autoconfyum install automakeyum install libtool <---这个里面有 autoreconf还是不行就 -P-cbuild 编译吧，别用native了。
阅读全文
posted @
2013-01-05 12:25
石头儿
阅读(362)
推荐(1) 编辑
HDFS学习(一) - HDFS设计
摘要：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
阅读全文
posted @
2013-01-05 10:19
石头儿
阅读(2267)
推荐(1) 编辑
HDFS Federation设计动机与基本原理
摘要：HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理，优缺点。
阅读全文
posted @
2013-01-04 15:20
石头儿
阅读(967)
推荐(0) 编辑
