代码改变世界

随笔档案-2016年10月

搭建hadoop2 HA

2016-10-31 00:43 by 方小呆dai, 285 阅读, 收藏,
摘要: 一、简介 1.1 背景: 针对Hadoop 1.x中可能出现的NameNode单点故障(SPOF)或者短时间无法使用的情况,Hadoop 2.x 通过增加一个NameNode的方式进行了改善,而增加一个NameNode后,实际在没有出现问题时,只需要一个NameNode,所以两个NameNode一个 阅读全文

Hbase开发实例

2016-10-24 01:25 by 方小呆dai, 2388 阅读, 收藏,
摘要: 1、开发环境 在进行Hbase开发前,需要安装JDK、Hadoop和HBase 根据自己的安装环境修改版本信息,使用Maven构建项目,在pom.xml中添加hbase的依赖 2、初始化配置 设置HBase的配置,如ZooKeeper的地址、端口号等等。可以通过org.apache.hadoop.c 阅读全文

HBase原理介绍

2016-10-17 04:52 by 方小呆dai, 328 阅读, 收藏,
摘要: 1、 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据,具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 与MapReduc 阅读全文

HDFS、YARN、Mapreduce简介

2016-10-10 01:50 by 方小呆dai, 2907 阅读, 收藏,
摘要: 一、 HDFS介绍: 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN,为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储,用于海量数据的存储; MapReduce主要 阅读全文