hadoop 2.7.3 云服务器 伪分布式部署

1.配置环境变量

配置hadoop环境变量，这样就可以在任意目录中使用hadoop指令

vim /etc/profile

jdk环境变量
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
export JRE_HOME=/usr/local/jdk/jdk1.8.0_131/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH


hdoop环境变量 我hadoop放在/usr/local/hdaoop下
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

 

2.设置ssh免密本机登录

安装

 yum install openssh-server

 

创建ssh文件夹，在ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥，然后把id_dsa.pub(公钥)追加到授权的key里面去。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.解压hadoop压缩包 我放在/usr/local/hadoop 下

4.修改 hadoop-2.7.3/etc 下的4个配置文件

core-site.xml

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://0.0.0.0:9000</value>
        </property>
    </configuration>

hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/tmp/dfs/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/tmp/dfs/datanode</value>
        </property>
    </configuration>

 修改mapred-site.xml.template 文件名为 mapred-site.xml在修改

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapred.job.tracker</name>
            <value>master:9001</value>
        </property>
    </configuration>

修改slaves文件内容为

 master

5.在 /etc/hosts 文件中添加

xxx.xxx.xxx.xxx master

xxx.xxx.xxx.xxx为你的服务器公网ip

6.第一次启动需要格式化namenode

hadoop namenode -format

启动hadoop服务

/usr/local/hadoop/hadoop-2.7.3/sbin/start-all.sh

 停止

/usr/local/hadoop/hadoop-2.7.3/sbin/stop-all.sh