摘要：
1.Slave节点要存储数据，所以它的磁盘越大越好。（错误）分析：一旦Slave节点宕机，数据恢复是一个难题2.hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。（错误）分析：hadoop dfsadmin -report 用这个命令可以快速定位出哪些节点down掉了，... 阅读全文
摘要：
1.怎样排除页面元素(图片之类)的点击量？ 在网站的页面代码中加入一段js脚本"探针"。每次打开网页时，此探针将被激活，在统计日志的服务器(如百度统计)上生成一条记录。所以，不论此页面上有多少个元素，都只会在日志服务器生成一条记录。在分析PV及UV时，我们不直接分析网站本身生成的日志，而是分析探针激... 阅读全文
摘要：
map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行... 阅读全文
摘要：
1.错误日志：Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 错误原因：在Linux下Hadoop等的各种... 阅读全文
摘要：
1.安装mvn(可以省略,因为eclipse自带maven插件) 1.1. 上传安装包到linux 1.2. 解压maven安装包mkdir /usr/maventar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven 1.3添加maven到环... 阅读全文
摘要：
#新增节点1.安装lunix,和以前一样的版本 2.初始化系统环境 2.1.设置静态ipvi /etc/sysconfig/network-scripts/ifcfg-eth0//增加 #Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]DEVI... 阅读全文
摘要：
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：Client-Server通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 ti... 阅读全文
摘要：
注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意#####... 阅读全文
摘要：
写在开头：在部署hbase集群之前，先把hadoop集群部署好。然后把zookeeper集群部署好。然后部署hbase，注意hbase相关的配置文件。1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）//注意：要把hadoop的hdfs-site.xm... 阅读全文
摘要：
脚本使用小结：1.开启集群，start-hbase.sh2.关闭集群，stop-hbase.sh3.开启/关闭【所有】的regionserver、zookeeper，hbase-daemons.sh start/stop regionserver/zookeeper4.开启/关闭【单个】的regio... 阅读全文