fesh1124
在你想要放弃的那一刻,想想为什么当初坚持走到了这里...

导航

 

 

  fesh个人实践,欢迎经验交流!Blog地址:http://www.cnblogs.com/fesh/p/3804072.html

  本文有点简单,详细版本请参见《分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

  Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。

1 安装环境

操作系统:Ubuntu-14.04     

JDK版本:jdk1.8.0_11  

计算机台数:3 (master:192.168.44.130   slave1:192.168.44.131   slave2:192.168.44.132)

2 预安装配置

安装Hadoop-2.2.0集群 ,参见《Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

安装SSH及设置SSH免密码登录

配置/etc/hosts 及/etc/hostname

3 启动停止Hbase

启动 

bin/start-hbase.sh

停止

bin/stop-hbase.sh

4 环境变量

在文件$HBASE_HOME/conf/hbase-env.sh中加入

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export HADOOP_CONF_DIR=/home/hadoop-2.2.0/etc/hadoop
export HBASE_HEAPSIZE=4096

 5 设置ulimit 和 nproc

HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成OutOfMemoryError异常。

在文件 /etc/security/limits.conf (其中hadoop是运行Hbase和Hadoop的用户)添加一行

hadoop - nofile 32768


hadoop soft/hard nproc 32000

另外,在 /etc/pam.d/common-session 加上这一行

session required pam_limits.so

否则在 /etc/security/limits.conf上的配置不会生效.还有注销再登录,这些配置才能生效!

6 配置

  除非运行在实现了持久化同步(sync)的HDFS上,HBase 将丢失所有数据。Sync必须显式开启。即 dfs.support.append 同时在客户端和服务器端设为真,客户端: hbase-site.xml ,服务器端: hdfssite.

xml。修改后必须重启集群。

  一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了).配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096。

hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>

<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property>

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  <description>The mode the cluster will be in. Possible values are
  false: standalone and pseudo-distributed setups with managed Zookeeper
  true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
  </description>
</property>

hdfs-site.xml

<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property>

<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

完全分布式模式的还需要修改conf/regionservers,一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动,集群的停止而停止.

 

在hbase-env.sh里将HBASE_CLASSPATH环境变量加上HADOOP_CONF_DIR。

7 分发

scp -r hbase-0.98.3-hadoop2 slave1:~/

8 运行和确认你的安装

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个
文件,然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。
如果你自己管理ZooKeeper集群,你需要确认它是运行着的。如果是Hbase托管,ZoopKeeper会随Hbase启动。

 

一旦Hbase启动,可以建表,插入数据,scan你的表,还有disable这个表,最后把它删掉。

 

posted on 2014-06-23 16:29  feshy  阅读(868)  评论(0编辑  收藏  举报