Hadoop与hbase单机环境安装
一、Linux系统设置
1，关闭防火墙
关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入：
systemctl stop firewalld.service
2，时间设置
输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
二、Hadoop环境安装
1，下载jdk、hadoop
将下载下来的 jdk、hadoop 解压包放在home 目录下
并新建java、hadoop文件夹
3.1.1解压文件
输入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.7.2.tar.gz
解压jdk和hadoop ,分别移动文件到java和hadoop文件下，
并将文件夹重命名为jdk1.8和hadoop2.7
2，JDK环境配置
首先输入
java -version
查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载
3.2.1 profile 文件更改
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH
注: JAVA_HOME的路径是 JDK的路径
使用vim 编辑之后 记得输入
source /etc/profile
使配置生效
配置完后，输入java -version 查看版本信息
3，Hadoop 环境配置
3.3.1 profile 文件更改
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export HADOOP_HOME=/home/hadoop/hadoop2.7
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
输入:
source /etc/profile
使配置生效
修改配置文件
3.3.2新建文件夹
在修改配置文件之前，现在root目录下建立一些文件夹。
输入:
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
注:在root目录下新建文件夹是防止被莫名的删除。
首先切换到 /home/hadoop/hadoop2.7/etc/hadoop/ 目录下
3.3.3修改 core-site.xml
输入:
vim core-site.xml
在<configuration>添加:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://test1:9000</value>
</property>
</configuration>
说明: test1 可以替换为主机的ip。
3.3.4修改 hadoop-env.sh
输入:
vim hadoop-env.sh
将${JAVA_HOME} 修改为自己的JDK路径
export JAVA_HOME=${JAVA_HOME}
修改为：
export JAVA_HOME=/home/java/jdk1.8
3.4.5修改 hdfs-site.xml
输入:
vim hdfs-site.xml
在<configuration>添加:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。
3.4.6 修改mapred-site.xml
如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:
vim mapred-site.xml
修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:
<property>
<name>mapred.job.tracker</name>
<value>test1:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
使用的命令:
到此 Hadoop 的单机模式的配置就完成了。
4，hadoop启动
第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.7/bin目录下输入
./hadoop namenode -format
初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。
启动Hadoop 主要是启动HDFS和YARN
切换到/home/hadoop/hadoop2.7/sbin目录
启动HDFS
输入:
start-dfs.sh
登录会询问是否连接，输入yes ，然后输入密码就可以了
启动YARN
输入:
start-yarn.sh
可以输入 jps 查看是否成功启动
HDFS测试地址在浏览器输入:
http://虚拟机IP:8088/cluster (http://192.168.8.161:8088/cluster)
YARN测试地址在浏览器输入(单机服务下Namenode和JobTrack没有打开访问不了):
http://虚拟机IP:50070/ (http://192.168.8.161:50070)
三、Hbase环境安装
1.下载hbase-0.94.3.tar.gz并解压
2.修改conf/hbase-env.sh:
①去掉JAVA_HOME一句的#并且指定自己的jdk路径
②找到 export HBASE_MANAGES_ZK=true 这一句，去掉#
3.修改conf/hbase-site.xml,修改为:(XXX替换过为自己的ubuntu用户名) ("/home/XXX/hbase_data/hbase"这个路径可以自定义为其他路径，但是一定要确认当前用户有访问权限)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:/home/XXX/hbase_data/hbase</value>
</property>
</configuration>
4.进入bin目录执行start-hbase.sh启动HBase,安装启动完成。
5.检验HBase是否正常启动:
①在bin目录执行hbase shell，正常的话会进入hbase命令行模式，即 hbase(main):001:0>
②输入 create 'user' ,'personalinfo',正常的话会出现类似 0 row(s) in 1.3200 seconds 这样的结果
③继续输入 list,正常的话会列出我们刚刚创建的user表
备注：如果在以上操作步骤中出现了异常，请进入logs目录找到一个后缀为.log的文件，自行查看这个文件中的错误信息，不能自行解决的话就google一下。
大概讲解下安装过程中的各修改的目的：
2.①是指定HBase所使用的jdk,应该是jdk1.7+
2.②是让HBase使用自己托管的zookeeper
3是指定HBase的数据文件路径，默认会存放到系统tmp路径中，这样每次重启后HBase中的数据就被清空了。
