hbase介绍及简单安装
1.hbase简介
1.1 什么是hbase
HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,HBASE的目标是存储并处理大型的数据,仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE利用HDFS作为其文件存储系统,利用Zookeeper作协同服务,可以MapReduce来离线处理HBASE中的海量数据。
1. 2 为什么要使用hbase,与传统数据库对比优势
1、传统数据库遇到的问题:
1)数据量很大的时候无法存储
2)没有很好的备份机制
3)数据达到一定数量开始缓慢,很大的话基本无法支撑
2、HBASE优势:
1)线性扩展,随着数据量增多可以通过节点扩展进行支撑
2)数据存储在hdfs上,备份机制健全
3)通过zookeeper协调查找数据,访问速度块。
2. hbase安装
步骤:下载,上传,解压,配置,分发,启动
1.去官网下载hbase,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop,解压 tar –zxvf hbase-0.99.2-bin.tar.gz
2.修改配置文件
cd /home/hadoop/hbase/conf
hbase-env.sh export JAVA_HOME=/usr/jdk //jdk安装目录 export HBASE_CLASSPATH=/home/hadoop/hadoop/conf //hadoop配置文件的位置 export HBASE_MANAGES_ZK=true #如果使用独立安装的zookeeper这个地方就是false hbase-site.xml <configuration> <property> <name>hbase.master</name> #hbasemaster的主机和端口 <value>master1:60000</value> </property> <property> <name>hbase.master.maxclockskew</name> #时间同步允许的时间差 <value>180000</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs:// hadoop-cluster1/hbase</value>#hbase共享目录,持久化hbase数据 </property> <property> <name>hbase.cluster.distributed</name> #是否分布式运行,false即为单机 <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name>#zookeeper地址 <value>slave1, slave2,slave3</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name>#zookeeper配置信息快照的位置 <value>/home/hadoop/hbase/tmp/zookeeper</value> </property> </configuration> Regionservers //是从机器的域名 slave1 slave2 slave3
3.把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
cp /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml /home/hadoop/hbase/conf
cp /home/hadoop/hadoop/etc/hadoop/core-site.xml /home/hadoop/hbase/conf
4.分发
scp –r /home/hadoop/hbase hadoop@slave1:/home/hadoop
scp –r /home/hadoop/hbase hadoop@slave2:/home/hadoop
scp –r /home/hadoop/hbase hadoop@slave3:/home/hadoop
5.修改环境变量(每台机器执行)
vi /etc/profile
添加内容:
export HBASE_HOME=/home/hadoop/hbase
export PATH=$PATH:$HBASE_HOME/bin
使环境变量生效
source /etc/proflie
6.启动(注意:启动hbase之前,必须保证hadoop集群和zookeeper集群是可用的)
start-hbase.sh