摘要：
map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行... 阅读全文
摘要：
1.错误日志：Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 错误原因：在Linux下Hadoop等的各种... 阅读全文
摘要：
1.安装mvn(可以省略,因为eclipse自带maven插件) 1.1. 上传安装包到linux 1.2. 解压maven安装包mkdir /usr/maventar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven 1.3添加maven到环... 阅读全文
摘要：
#新增节点1.安装lunix,和以前一样的版本 2.初始化系统环境 2.1.设置静态ipvi /etc/sysconfig/network-scripts/ifcfg-eth0//增加 #Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]DEVI... 阅读全文
摘要：
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：Client-Server通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 ti... 阅读全文
摘要：
注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意#####... 阅读全文
摘要：
写在开头：在部署hbase集群之前，先把hadoop集群部署好。然后把zookeeper集群部署好。然后部署hbase，注意hbase相关的配置文件。1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）//注意：要把hadoop的hdfs-site.xm... 阅读全文