hadoop的安装和使用

安装hadoop前的准备工作：

1、创建hadoop用户

2、更新apt

3、安装ssh

4、安装java环境

一、创建hadoop用户：

 首先打卡一个终端（可以用快捷键Ctrl+Alt+T），使用如下命令创建一个用户：

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登录的hadoop用户，并使用/bin/bash作为Shell。

接着使用如下命令为hadoop用户设置密码：

sudo passwd hadoop

二、更新APT:

用hadoo用户登录Linux系统后打开一个终端，执行下面命令更新APT软件：

sudo apt-get update

三、安装SSH：

SSH是Secure Shell的缩写，是建立在应用层和传输层上的安全协议，SSH是目前较可靠，专为远程登录回话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来有迅速扩展到其他的操作平台，SSH是由客户端和服务器的软件组成，服务端是一个守护进程，它在后台运行并响应来自客户端的请求，客户端包含ssh程序以及像scp（远程复制）、slogin（远程登录）、sftp（安全文件传输）等其他的应用程序

为什么在安装Hadoop之前要配置SSH，是因为Hadoop名称节点需要启动集群中所有机器的Hadoop守护进程，这个过程需要SSH登录来实现，Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录集群中的每台机器，需要讲所有机器 配置为“名称节点可以无密码登他们”

安装SSH服务端：

sudo apt-get install openssh-server

安装后用如下命令进行登录：

ssh localhost

执行该命令时，出现提示如图信息，输入yes，然后按回车，提示输入密码就可以登录到本机了

 

 设置SSH无密码登录，首先exit退出刚才的ssh，就回到了原先的终端窗口，然后就可以利用ssh--keygen生成秘钥，并将秘钥加入到授权中，命令如下：

cd ~/.ssh    #若没有该目录限制行一遍ssh localhost

ssh-keygen -t rsa  #会有提示，按回车键即可

cat ./id_rsa.pub>>./authorized_keys  #加入授权

此时再执行ssh localhost命令，无需输入密码就可以直接登录了如图：

 

 四、安装Java环境：

Hadoop是基于Java语言开发的，需要安装Java环境，Java环境可选择安装Oracle的JDK或者安装OpenJDK。下面介绍两种不同的安装

方式，优先选择第一种，如果第一种方式失败，选择第二种，

1、第一种安装方式：

直接通过如下命令安装OpenJDK 7

sudo apt-get install openjdk-7-jre openjdk-7-jdk

这步是需要联网的，安装好OpenJDK好，需要找到相应的安装路径，这个路径是用于配置JAVA_HOME环境变量的，

dpkg -L openjdk-7-jdk | grep '/bin/javac'

该命令会输出一个路径，出去路径末尾的/bin/javac，剩下的就是正确的路径

接下来配置JAVA_HOME的环境变量，直接在～/.bashrc 这个文件中进行设置，

vim ~/.bashrc

在文件的最前面加入单独一行　　

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd4

接下来让环境立即生效，

source ~/.bashrc  #使变量设置生效

执行上述命令后，可以检验是否正确：

echo $JAVA_HOME #检验变量值

java -version

$JAVA_HOME/bin/java -version #与直接执行java -version一样

如果设置正确在中命令后会输出java的版本信息