Hadoop之单机模式环境搭建
1、安装CentOS7
准备
CentOS系统镜像CentOS-7.0-1406-x86_64-Everything.iso(我在网上下的是这个:CentOS-7-x86_64-Everything-1503-01.iso,很大,7个多G。)
vmware workstation 11(这个是在360软件管家里下的,“典型”安装,可以改路径,在网上找一个许可证号,直接就安装成功。)
安装
1、点击创建一个新的虚拟机,选择"典型"配置,下一步。
2、选择"安装程序光盘镜像文件",选择已经准备的系统镜像文件,下一步。
3、设置账户信息,下一步。
全名:Hadoop
用户名:hadoop
密码:hadoop
确认:hadoop
4、设置虚拟机名称和保存路径,下一步。
名称:Hadoop学习
保存路径:默认
5、默认配置,下一步。
6、默认配置,点击完成。
7、等待安装完成。
8、输入密码登录系统。
至此,系统安装完成。
2、安装JDK1.8.0
准备
jdk安装包jdk-8u45-linux-x64.gz
http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html
点击Java Platform(JDK) 8u45下载,在最上面Java SE Development Kit 8u45点击Accept License Agreement:
选择jdk-8u45-linux-x64.tar.gz下载。
安装
1、查看当前jdk版本。
#java -version
这里我卸载了自带的openjdk:
[root@localhost ~]# rpm -qa|grep jdk java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 [root@localhost ~]# rpm -qa|grep gcj java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 libgcj-4.1.2-48.el5 [root@localhost ~]# yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 [root@localhost ~]# yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 [root@localhost ~]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 [root@localhost ~]# yum -y remove libgcj-4.1.2-48.el5
2、解压准备的JDK文件,解压路径/opt。
[root@localhost ~]# tar -zxvf /home/hadoop/下载/jdk-8u45-linux-x64.gz -C /opt
3、修改配置系统变量。
[root@localhost ~]#gedit /etc/profile
#set jdk
export JAVA_HOME=/opt/jdk1.8.0_45
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
保存退出,运行。
#source /etc/profile
4、运行命令。
update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_45/bin/java 60 update-alternatives --config java
输入新配置的jdk序号:1
至此,JDK安装完成。
3、安装Hadoop2.6.0
准备
hadoop-2.6.0.tar.gz
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
选择一个镜像下载,我选的是:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
安装
1、解压Hadoop,解压路径/opt。
[root@localhost ~]# tar -zxvf /home/hadoop/下载/hadoop-2.6.0.tar.gz -C /opt
2、配置hadoop-env.sh
文件路径 /opt/hadoop-2.6.0/etc/hadoop
在此路径下,打开终端:#gedit hadoop-env.sh
在#export JAVA_HOME=${JAVA_HOME}下添加内容:
export JAVA_HOME=/opt/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar
保存退出。
3、配置系统变量。
#gedit /etc/profile
#set hadoop path
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
#source /etc/profile
至此,Hadoop单机模式配置完成。(单机模式,伪分布式,真正分布式)
4、SSH无密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 验证ssh,# ssh localhost 不需要输入密码即可登录。
至此,ssh无密码登录配置完成。