Hadoop完全分布式搭建全过程

本次操作共4台虚拟机(node211,node212,node213,node214)，node211为NameNode，其余3台为DataNode，SecondaryNamenode为node212

一、角色资源对应分配

　　　　　 　NN　　 DN　　  SNN　　

node211:　　 *

node212:　　　　　　*　　　　*

node213:　　　　　　*

node214:　　　　　　*

二、基础设施配置(node211-node214)

　　网络：IP　　　　　 --》/etc/sysconfig/network-scripts/ifcfg-eth0

　　　　　hosts　　　　--》/etc/hosts

　　　　　hostname　　 --》/etc/sysconfig/network

 

 

 

　　ssh配置(node211)：

cd ~/.ssh　　　　　　　　　　　　　　　　　　　
            --如果此目录不存在：ssh localhost，然后再exit退出

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa　　　
            --生成的密钥对：id_rsa和id_rsa.pub。默认存储在"/home/hadoop/.ssh"文件夹下

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys　
            --把id_rsa.pub追加到授权的key里面去            

 

　　node211：发送node211公钥到其他主机对应目录

cd ~/.ssh
scp ./id_dsa.pub  root@node212:`pwd`/node211.pub
scp ./id_dsa.pub  root@node213:`pwd`/node211.pub
scp ./id_dsa.pub  root@node214:`pwd`/node211.pub

　　node212-node214：　　

cd ~/.ssh
cat node211.pub >> authorized_keys

 

　　jdk配置(node211-node214)：　　　　

rpm -i jdk-7u67-linux-x64.rpm

export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

 

 三、应用搭建

　　文件解压部署（node211）：

tar xf hadoop-2.6.5.tar.gz　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--解压Hadoop
mkdir -p /opt/manzi　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--创建文件夹
mv  ~/hadoop/  /opt/manzi/　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--文件拷贝
vi /etc/profile　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 --配置Hadoop环境变量
export JAVA_HOME=/usr/java/default　　　　　　　　　　　　　　　　　　　　　　　　　
export HADOOP_HOME=/opt/manzi/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

四、应用配置(node211)

　　　　文件目录

cd $HADOOP_HOME/etc/hadoop　　　　　　　　　　--hadoop配置文件目录

 　　　　vi hadoop-env.sh　　　　

export JAVA_HOME=/usr/java/default　　　　　　--修改jdk环境变量为静态路径(原写法${JAVA_HOME取不到值})

 　　　　 vi core-site.xml  　　　　　　　　　　　　--NameNode配置文件
                       　　 

<!--决定NameNode在哪里启动-->
<property>
        <name>fs.defaultFS</name>
         <value>hdfs://node211:9000</value>
</property>
                        　　
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/manzi/hadoop/local</value>
</property>           

 　　　vi hdfs-site.xml　　　　　　　　　　　　　　--hdfs配置文件
                        　　

//副本数量为2个
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>    
                        　　
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>node212:50090</value>
</property>          

 　　　　vi slaves　　　　　　　　　　　　　　　　--DataNode配置文件
                               

node212
node213
node214

 　　　　将配置完毕的Hadoop拷贝到其他主机

cd /opt　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--将Hadoop拷贝到其他主机
　　scp -r ./manzi/ node212:`pwd`
　　scp -r ./manzi/ node213:`pwd`
　　scp -r ./manzi/ node214:`pwd`    
　　scp  /etc/profile  node212:/etc　　　　　　　　　　　　　　　　　　　　　　　　　　--拷贝profile文件到其他主机
　　scp  /etc/profile  node213:/etc
　　scp  /etc/profile  node214:/etc    

 五、启动程序

到此为止，Hadoop配置完毕，启动程序

　　1、NameNode格式化（node211）

hdfs  namenode -format

　　启动成功后 ，NameNode配置文件对应目录会有相应name文件夹及生成新的fsimage及edits文件

 

 

　　2、启动程序hdfs（node211）

start-dfs.sh

 运行到此步骤，web页面能查看到文件系统及节点情况，启动日志也可以看出是否启动成功

 

 六、测试

 在user文件夹下添加root用户文件夹

hdfs dfs -mkdir -p /user/root

 添加数据测试，此处为方便查看block数量，设置block大小为1M

hdfs dfs -D dfs.blocksize=1048576 -put file.txt /user/root

 web页面查看数据