Hadoop的安装

hadoop的安装准备

1、准备liunx环境；

2、安装JDK；

3、配置hadoop；

 

1.新搭建方式：使用云主机进行配置（阿里云，UnitedStack）

租用腾讯云主机   CentOS  7.4   64位

PuTTY 

 

2.安装JDK

#mkdir /usr/java      //在/usr目录下新建java文件夹

#cd /usr/java/        //进入java文件夹，下载Java压缩包(64位)

#wget http://download.oracle.com/otn-pub/java/jdk/10.0.1+10/fb4372174a714e6b8c52526dc134031e/jdk-10.0.1_linux-x64_bin.tar.gz?AuthParam=1529570105_60028b8c95c008b8c0e7943488bb76f9

//Java下载

http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

#ls                      //显示下载目录，

#tag xvf jdk-10.0.1     //解压压缩包

#rm xxx. tar.gz        //删除压缩包

rm: remove regular file ` xxx. tar.gz '? yes

#cd

#vim /etc/profile   //转到根目录，修改/etc/profile文件设置系统变量，设置jdk（java）环境变量

export JAVA_HOME=/usr/java/jdk-10.0.1

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin: $PATH 

#source /etc/profile     //使profile配置生效

#java -version    //验证安装

 

 

#javac

 

3.配置Hadoop

#wget     //下载Hadoop

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

#ls

#mv hadoop-1.2.1.tar.gz/opt/      //移动到opt

#cd  /opt/

#tar –zxvf  hadoop-1.2.1.tar.gz   //进行解压

#cd /hadoop-1.2.1/

#cd /conf/        //需要配置的文件在 /opt/hadoop-1.2.1/ conf/ 中

#vim hadoop-env.sh

 

$JAVA_NAME=/usr/java/jdk-10.0.1

 

 

 

#vim core-site.xml

 

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop-1.2.1/tmp</value>  

</property>    //hadoop工作目录

 

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>    //hadoop源数据 or 源数据 放哪里吗

 

<property>

<name>fs.default.name</name>

<value>hdfs://maizi:9000</value>

</property>   //文件系统namenode该如何访问

 

#vim hdfs-site.xml

 

<property>

<name>dfs.data.dir</name>

<value>/opt/hadoop-1.2.1/data</value>

</property>      //文件系统的数据存放路径

 

#vim mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>maizi:9001</value>

</property>     //任务xxx该如何去访问

<property>

<name>mapred.child.tmp</name>

<value>/home/hadoop-1.2.1/tmp</value>

</property>     

 

#vim /etc/profile

export JAVA_HOME=/usr/java/jdk-10.0.1

export HADOOP_HOME=/opt/hadoop-1.2.1

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH 

#source /etc/profile     //让profile此文件生效

#hadoop

#cd /opt/hadoop-1.2.1/bin

#hadoop namenode –format    //对namenode 文件系统进行格式化操作

#jps

#ls

#start-all.sh    //启动命令

#jps   //查看hadoop是否正常运行

 

 

#hadoop    //安装完成

 

 

 

 

#hostname  maize

#hostname

#ls

#cd

#pwd

#javac

#java

sudo chmod -R a+w /opt/hadoop-1.2.1/Hadoop

 

ERROR namenode.NameNode: java.io.IOException: Cannot create directory hadoop/dfs/name/current

 vim core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-1.2.1/tmp</value>

</property>