HDFS集群安装部署

1-> 集群的准备工作

 1）关闭防火墙(进行远程连接)  

 firewall-cmd --state                 -- 显示centOS7防火墙状态
 systemctl stop firewalld           -- 关闭防火墙
 systemctl disable firewalld      -- 禁止开机自启动

 2）永久修改设置主机名

 vi /etc/hostname  

注意：需要重启生效->reboot    

3）配置映射文件  

vi /etc/hosts    

192.168.37.129 hadoop01  

192.168.37.130 hadoop02  

192.168.37.131 hadoop03  

2-> 安装jdk

 1）上传tar包  alt+p  

 2）解压tar包  tar -zxvf jdk    

3）配置环境变量  

vi /etc/profile    

export JAVA_HOME=/root/hd/jdk1.8.0_141  

export PATH=$PATH:$JAVA_HOME/bin  

 注意：加载环境变量 source /etc/profile    

4）发送到其它机器  

scp -r /root/soft/jdk1.8.0_141/ hadoop02:/root/soft/jdk1.8.0_141  

scp -r /root/soft/jdk1.8.0_141/ hadoop03:/root/soft/jdk1.8.0_141  

scp -r /etc/profile hadoop02:/etc  

scp -r /etc/profile hadoop03:/etc  

 注意：加载环境变量 source /etc/profile    

5）配置ssh免密登录  

ssh-keygen 生成密钥对

ssh-copy-id 自己   

ssh-copy-id 其它   

ssh-copy-id 其它   

3-> 安装HDFS集群

 1) 修改hadoop-env.sh  

export JAVA_HOME=/root/apps/jdk1.8.0_60

 2) 修改core-site.xml

<configuration>
     //配置hdfs
     <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop01:9000</value>
     </property>
</configuration>

 

 3) 修改hdfs-site.xml

<configuration>
        //配置元数据存储位置
        <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/hd/dfs/name</value>
        </property>
        //配置数据存储位置
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/hd/dfs/data</value>
        </property>
</configuration>

 

4)格式化namenode

hadoop namenode -format    

注意：只在主节点执行 

5)分发hadoop到其它机器  

scp -r ~/hd/hadoop-2.8.4/ hadoop02:/root/soft/  

scp -r ~/hd/hadoop-2.8.4/ hadoop03:/root/soft/  

 6)配置hadoop环境变量  

vi /etc/profile  

export JAVA_HOME=/root/hd/jdk1.8.0_141  

export HADOOP_HOME=/root/hd/hadoop-2.8.4  

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    

7)分发hadoop环境变量  

scp -r /etc/profile hadoop02:/etc    

scp -r /etc/profile hadoop03:/etc    

注意：加载环境变量 source /etc/profile  

8)启动namenode  

hadoop-daemon.sh start namenode    

9)启动datanode  

hadoop-daemon.sh start datanode    

10)访问namenode

提供的web端口：50070    

 

4-> 自动批量的启动脚本

1）修改配置文件slaves

hadoop02  

hadoop03    

2）执行启动命令  

start-dfs.sh  

stop-dfs.sh