hdfs集群(hadoop_03)

上传安装包

hadoop-2.6.5 解压 到 apps下

修改配置文件

cd apps/hadoop-2.6.5/etc/hadoop/

vim hadoop-env.sh

export JAVA_HOME=///jdk8

配置hdfs

cd apps/hadoop-2.6.5/etc/hadoop/

vim core-site.xml

注：

1、第一个配置：代表用哪一种文件系统，這里用hdfs。

2、第二个配置：用来存放运行时产生的零时文件。

3、hdfs://hadoop01:9000中hadoop01是master节点的主机名。

<configuration>
  <property>  
          <name>fs.default.name</name>  或者 <name>fs.defaultFS</name>
          <value>hdfs://hadoop01:9000</value>  
   </property>  
   <property>  
          <name>hadoop.tmp.dir</name>  
          <value>/usr/local/lzd_hadoop/apps/datatemp</value>  
          <description>A base for other temporary directories.</description>  
  </property>  
 </configuration>

复制改好的配置文件到其它系统

scp -r apps hdp_slave_02:$PWD

$PWD 和当前目录一样的目录

配置全局环境

HADOOP_HOME=/usr/local/lzd_hadoop/apps/hadoop-2.6.5

PATH=$PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin

export HADOOP_HOME PATH

初始化namenode(格式化)

Namenode在机器上运行是会记录一些数据，数据记录有一个特点的目录，在namenode启动之前先构成出這样一个目录。

hadoop namenode -format

启动集群

方式一

一个个启动hadoop-daemon.sh start namenode

Jsp

出现namenode 就没问题

netstat -nltp 看监听端口

浏览器输入：hadoop01:50070

Datanode 和上述一样



方式二

前提：

先配合免密登陆，修改slaves文件配置所有需要启动的从节点。

[root@hadoop02 conf]$ cat slaves

hadoop02

hadoop03

在主节点上运行命令：

Start-dfs.sh即可启动集群中的所有节点

停止集群

Stop-dfs.sh