Hadoop简单安装配置

Hadoop开始设计以Linux平台为运行目标，所以这里推荐在Linux发行版比如Ubuntu进行安装，目前已经有Hadoop for Windows出来，大家自行搜下文章。

Hadoop运行模式分为单机、伪分布式、真实分布式三种，默认安装到本地后是单机模式。

 

1. 安装Jdk

Hadoop是用Java编写的，所以需要先装jdk，在oracle官网（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下载压缩包后，放置到/opt目录下，用如下命令解压

sudo tar -xvf jdk-8u77-linux-x64.tar.gz

加入环境变量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77
export PATH=/opt/jdk1.8.0_77:${PATH}

 

2. 下载安装Hadoop

在官网下载，这里下载Hadoop-1.2.1版本为例子，下载tar.gz压缩包（https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/），同样防止在/opt目录下

如下命令解压

sudo tar -xvf hadoop-1.2.1.tar.gz

加入环境变量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=/opt/hadoop-1.2.1/bin:${PATH}

进入/opt/hadoop-1.2.1/conf目录中，打开hadoop环境变量配置文件hadoop-env.sh，解开JAVA_HOME并修改上自己的jdk目录

 

如果需要将环境变量永久配置建议修改个人目录下的Profile文件：

sudo gedit ~/.bashrc

并在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_INSTALL=/opt/hadoop-1.2.1

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 

3. 设置ssh免密码登录

输入以下命令声明ssh秘钥，整个过程都直接回车，不需要输入任何密码信息

ssh-keygen

最后会在你的个人目录下的.ssh文件夹中生成一个id_rsa.pub文件，继续执行下面命令将该秘钥追加到authorized_keys中：

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys

这个时候执行下列命令看看是否能登陆

ssh localhost

如果出现下列错误的话说明你本地没有装openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]

则安装openssh-server

sudo apt-get install openssh-server

 

如果出现下列提示，说明你要本地的openssh-client的版本已经过时，需要更新了

因为openssh-server是要依赖client的话，按照如上的截图提示信息，需要安装对应的openssh-client版本：

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3

安装完后，则可以安装openssh-server了。随后启动ssh服务，并查看ssh服务是否启动

这个时候ssh localhost就可以登录本地了

 

到此，本地Hadoop安装完毕