CentOS7搭建Hadoop 2.X和Hbase2.x伪分布式环境
实验环境
- CentOs7
- JDK8
- Hadoop-2.10.0
- Hbase-2.2.4
1.安装JDK
这里下载选择JDK8 RPM长期支持版本
这里提供个安装包，有需要的小伙伴自行下载：链接 密码：by4l
安装：
rpm -ivh jdk-8u241-linux-x64.rpm
配置环境变量
打开配置文件：
vim /etc/profile
在末尾添加以下内容：
# JDK配置
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin:$PATH
保存退出，让配置重新加载：
source /etc/profile
2. 下载Hadoop和Hbase
到中国站点下载比较快
进入 /opt 目录
同样方法去到Hbase下载地址
里用wget命令下载：
wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
wget https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz
解压：
tar -zxf hadoop-2.10.0.tar.gz
添加软链接：
ln -s hadoop-2.10.0 hadoop
hadoop环境配置：
vim /etc/profile
末尾添加：
# hadoop
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
使配置文件生效:
source /etc/profile
测试：
3.配置Hadoop
修改hadoop配置文件
修改 /opt/hadoop/etc/hadoop/ 下面的hadoop配置文件 hadoop-env.sh 、hdfs-site.xml 、 core-site.xml 这三个文件
1 . hadoop-env.sh
将文件中的
export JAVA_HOME=${JAVA_HOME}
改为绝对路径：
export JAVA_HOME=/usr/java/default
2 . hdfs-site.xml
补充最后的属性：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3 . core-site.xml
补充最后的属性：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
启动Hadoop
cd /opt/hadoop/bin //切换到Hadoop安装目录下的bin目录
hdfs namenode -format //第一次启动Hadoop，要格式化namenode，之后再启动就不需要再格式化了
cd /opt/hadoop/sbin //切换到Hadoop安装目录下的sbin目录
./start-dfs.sh //启动Hadoop
jps //查看已经开启的进程，看namenode，datanode是否开启
在centos系统的浏览器中输入 http://localhost:50070 查看运行在本机上的hadoop的运行状态
4.配置YARN
修改 /opt/hadoop/etc/hadoop 目录下的YARN配置文件
cp mapred-site.xml.template mapred-site.xml //复制YARN配置文件模板
1 . mapred-site.xml
在最后修改：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2 . yarn-site.xml
在最后修改：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
运行YARN，验证是否成功
cd /opt/hadoop/sbin
./start-yarn.sh //开启YARN
jps
在浏览器中输入 http://localhost:8088 查看YARN管理的集群状态
5.免密登录配置
5.1 首先生成密钥对：
ssh-keygen -t rsa
一路回车即可
一路回车之后就会生成一个目录：/root/.ssh 因为我是root用户所以在root目录下
5.2 进入到ssh 目录下，执行下面这条命令：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@localhost
6.配置开机自启
6.1 进入/etc/rc.d/init.d目录
cd /etc/rc.d/init.d
6.2 新建文件hadoop
touch hadoop
6.3 添加以下内容，只在master配置即可
#!/bin/bash
#chkconfig:2345 20 90
#description:hadoop
#processname:hadoop
export JAVA_HOME=/usr/java/default
case $1 in
start) su root /opt/hadoop/sbin/start-all.sh;;
stop) su root /opt/hadoop/sbin/stop-all.sh;;
*) echo "require start|stop" ;;
esac
6.4 给文件设置权限
chmod +x hadoop
6.5 加入开机自启列表
chkconfig --add hadoop
6.6 查看列表
chkconfig --list
4.配置Hbase
1.解压：
tar -zxf hbase-2.2.4-bin.tar.gz
2.添加软连接：
ln -s hbase-2.2.4-bin.tar.gz hbase
3.配置环境变量
打开配置文件：
vim /etc/profile
在末尾添加以下内容：
# hbase环境配置
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin:$PATH
保存退出，让配置重新加载：
source /etc/profile
4.修改hbase-env.sh文件（这里使用hbase自带的zookeeper,也可使用单独的zookeeper）
vim /opt/hbase/conf/hbase-env.sh
#指定java_home
export JAVA_HOME=/usr/java/default
#可使用hbase自带的zookeeper
export HBASE_MANAGES_ZK=true
5.修改conf/hbase-site.xml
vim /opt/hbase/conf/hbase-site.xml
<configuration>
<!-- 指定hbase在hdfs中的地址 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定bhase的master地址 -->
<property>
<name>hbase.master.port</name>
<value>60000</value>
</property>
<!-- 指定hbase的web端口 -->
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
<!--指定zookeeper端口-->
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2182</value>
</property>
<!--zookeeper超时时间-->
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<!--zookeeper中bhase路径-->
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
</configuration>
6.启动Hbase
/opt/bin/start-hbase.sh
至此，hbase安装完成
7.查看进程
命令行输入jps,可看到进程：
HMaster
HRegionServer
HQuorumPeer
8.浏览器访问：
在浏览器输入 http://localhost:60010 即可
9.hbase shell启动
bin/hbase shell
