摘要： 首先下载与hadoop-1.1.2对应的HBase版本，这里下载的是HBase0.96.2.如图。这个版本已经包含了hadoop-core-1.1.2.jar包，即不用做覆盖核心jar包的一步。然后对hbase进行配置。具体有hbase-env.sh以及hbase-site.xml如图。接下来即可启... 阅读全文

摘要： 首先我只是下载了2003年的数据，因为网络较慢……然后把数据整合到test.txt中，upload到hdfs文件系统中。如图。已有一个test.txt。数据准备好之后，开始搞代码。代码如图。然后把它们打包成一个jar包，运行。结果求得2003年的最低温度是-807。如图。搞掂！！接下来是实现hado... 阅读全文

摘要： 多次重复格式化namenode后，datanode不能启动，重新将datanode加入集群。解决办法是用namenode的version文件中的namespaceID替换掉datanode的namespaceID，使到两个的namespaceID一致，就能重新加入datanode。如图。（names... 阅读全文

摘要： 首先看一下当前块大小。如图，使用命令hadoop fs -stat "%o" /目录/文件 由于hadoop是按照块来存储文件的，故不管文件是否有一个块大小的容量也会占用一个块。关闭集群，进入hdfs-site.xml，添加属性dfs.block.size.如图。改成128MB。重启集群，查看块大小... 阅读全文

摘要： 启动集群之后，删除name目录，模拟集群namenode节点崩溃。再次启动发现namenode启动不了。如图。做法是：关闭集群，然后重新格式化HDFS以再次产生name目录。进入data目录中，打开datanode的version文件，将datanode的namespaceID复制，然后覆盖掉nam... 阅读全文

摘要： 这个实验我选择了简单的做法，并没有用到kerkeros。本人会努力，尽快学会用到kerkeros给hadoop增加安全机制，使我的小象不再“裸奔”。首先是打开hdfs-site.xml，然后加入如下属性。最后设置登录用户名。就是在设置hadoop.http.authentication.signat... 阅读全文

摘要： 我是接着用上次已经部署好的环境，故已经有ssh以及java。没有安装这两个的朋友可以看本人关于伪分布式安装的博文。首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config li... 阅读全文

摘要： 1、安装环境是vmware workstation10.0模拟出三个虚拟节点，每一个节点安装Ubuntu12.04 LTS操作系统，主机名分别是hadoop1、hadoop2以及hadoop3.同时在每一个节点安装好java。安装方法同之前介绍的伪分布式安装方法一样。2、接着是对三个节点的hosts... 阅读全文

摘要： 首先安装双系统进行伪分布式实验，安装win7+ubuntu双系统：1、右键单击“我的电脑”进入“管理”，双击“存储”，再双击“磁盘管理”，在D盘位置右击“压缩卷”，分出一个大小为50G的磁盘空间，然后格式化，之后再删除卷，作为安装ubuntu系统所用。2、下载安装easyBCD软件，新建一个Neo ... 阅读全文

摘要： 本次实验的环境为VM station 10 安装三个虚拟机，系统为centOS6.5。IP分别如下图。如下图，三个虚拟机均安装了Java1.7以及配置好了hosts文件。接着是下载zookeeper-3.4.6（这里推荐使用此版本），进入conf目录下，将zoo_sample.cfg复制成zoo.c... 阅读全文