随笔分类 - Hadoop
摘要：不知道是断过电还是怎么了，今天HBase突然坏掉了，然后去查看Hadoop的Secondary namenode日志发现：org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Checkpoint not created. Name node is in safe mode.The reported blocks 3774 needs additional 409 blocks to reach the threshold 0.9990 of total
阅读全文
摘要：数据环境搞好了，必须考虑如何存取、传输。我们用thrift。Facebook 开发的远程服务调用框架 Apache Thrift，支持 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk 。其传输数据采用二进制格式，相对 XML 和 JSON 体积更小，对于高并发、大数据量和多语言的环境更有优势。本系列只讲部署安装，原理神马的以后再说！有些人安装thrift很容易就成功了，那是因为他机器的各种库比较全，有些安装目录和版本也恰好对了，我就没那么幸运了【其实我总是那么不幸。。】上教程：我安装的是thri
阅读全文
摘要：HBase使用LZO压缩
阅读全文
摘要：Hbase环境部署一、安装准备下载cdh3版本的hbase默认前提已经安装好cdh3版本的hadoopmaster 192.168.2.25 主机名：a1slave1 192.168.2.26 主机名：a2slave2 192.168.2.27 主机名：a3slave3 192.168.2.28 主机名：a4slave4 192.168.2.29 主机名：a5二、安装步骤（默认在master节点上进行）解压hbase的压缩包修改$HBASE_HOME /conf/hbase-env.sh文件export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC
阅读全文
摘要：参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/a) 安装准备所有机器的用户名和$HOME目录配置一致；（用户名、密码、目录结构）所有机器JDK的安装目录为/usr/lib/jvm/java-6-openjdk；每台机器的/etc/hosts文件中包括所有机器的IP和hostname一致；建议在一台上配好后，直接把hosts加上的映射内容复制过去。选取一台机器作为master，在配置都差不多的情况下，选取IP最低或最高的，便于管理和记忆。配置ssh，首先使其无密码
阅读全文
摘要：a) 单节点集群的安装参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/配置ssh（无密码连接到localhost）$ chmod g-w ~/.ssh/authorized_keys【这里尤其注意，你的机器上若没有.ssh目录，那么mkdir之后一定确保.ssh权限是700】$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/autho
阅读全文
