centos下hadoop的安装
hadoop的安装不难,可是须要做不少的准备工作。
一、JDK
须要先安装jdk。centos下能够直接通过yum install java-1.6.0-openjdk来安装。不同公布版的安装方式可能不一样。
二、设置ssh
之后,须要设置ssh为密钥认证登录。假设没有这一步,那么以后每次hadoop执行的时候都会提示输入password。能够直接ssh-keygen -t rsa一路回车生成ssh的密钥对,然后进入当前用户的家文件夹,进入.ssh文件夹,cp /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys,这一步的目的是为了让ssh登录本机(也就是localhost)的时候能够直接通过密钥认证。假设你要搭建的是hadoop集群,则还要用类似scp
/home/hadoop/.ssh/authorized_keys hadoop@192.168.30.61:/home/hadoop/.ssh/的命令在各个节点上交换公钥,以实现节点间的密钥认证。
三、hadoop安装
接着才是hadoop本身的安装。这一步也许是最简单的。
直接到hadoop官网上下载hadoop安装包,然后解压就可以完毕hadoop本身的安装。这点非常像win下的绿色软件。解压后能够在文件夹下找到hadoop的可运行文件和配置文件。直接运行可运行文件就能够运行hadoop。运行时候应该会报错,这个非常正常,不要慌张,先设置hadoop-env.sh文件,这个文件能够在hadoop文件夹的etc文件夹下找到。不同版本号的hadoop可能不一样。能够通过find hadoop安装文件夹 -name "hadoop-env.sh"的方式查找这个文件的位置。找到后在里边找到$JAVA_HOME变量。将其值设置成“java”可执行文件所在的文件夹,不知道在哪个文件夹的话直接find。
之后再次执行hadoop就应该能够执行了。
还能够把hadoop的家文件夹加入到PATH文件夹中,这样以后就能够在随意文件夹执行hadoop命令。
改动/etc/profile文件,将hadoop的安装文件夹append到文件最后:
export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
以上步骤完毕后hadoop就安装好了,假设你要的是本地模式,那么hadoop已经能够用了。
可是假设用其它模式。还须要对其进行配置。详细的配置方式能够直接百度。