Linux CentOS7 配置hadoop (二) 配置hdfs(伪分布)

第二篇： CentOS7 配置hadoop (二) 配置hdfs(伪分布)

配置hdfs：

1.修改主机名

　　在CentOS 7中，我们可以通过hostname命令查看当前的主机名。

我们可以通过命令“hostnamectl set-hostname 主机名”来永久修改主机名。

vi /etc/hosts

　　　这里的红框内是在下面的NAT 设置的网络网关子网，其中 IPADDR 要和NAT 设置的网关IP前三段一致，后一段不一样就可以

　　打开编辑，点击虚拟网络编辑器

　　注意IP的设置

　　设置完记得service network restart

　　查看IP 指令为 ip addr

3.配置静态IP地址，

使用命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33

:wq! 保存并退出

4.查看IP 指令为 ip addr

5.service network restart重启网络

6.在配置SSH无密码连接之前，需要关闭防火墙

关闭防火墙 service iptables stop
永久关闭防火墙 chkconfig iptables off

7. 检查SSH是否安装（root用户执行所有节点都需执行）

绝大多数系统已经附带SSH，但是预防万一，可以进行SSH安装

yum install ssh

yum install rsync

service sshd start启动SSH服务

检查SSH是否安装成功

rpm -qa | grep openssh

rpm -qa | grep rsync

配置ssh公钥 ssh-keygen -t rsa 一直回车就行

公钥生成位置： /home/用户名/.ssh隐藏目录下 ls -a 查看隐藏目录

公钥拷贝至本机得zuthorized_key列表

ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@主机名(例master@master)

重启虚拟机

8.使用Xshell工具连接到

9.链接FileZilla

10.使用FileZilla上传文件到虚拟机右键上传

卸载Open JDK root用户执行

查看当前系统jdk，如果出现openjdk则需要删除

rpm -qa | grep jdk

删除openjdk 命令 rpm -e --nodeps java....

11.上传完毕到xshell工具里解压两个tar压缩包命令 tar -xzvf 压缩包名

12.解压完成配置环境变量 vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin

配置完环境变量记得 source /etc/profile

检查配置完成后的jdk版本

java -version

13.配置hadoop 先进入 cd /opt/hadoop-2.6.0-cdh5.7.0/etc/hadoop 文件目录下

1）修改hadoop-env.sh 文件

export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.7.0

　　 2）修改core-site.xml 文件

　　　　　　<property>
                      　　<name>fs.default.name</name>
                      　　<value>hdfs://master:8020</value>
             　　</property>
            　　 <property>
                     　　 <name>hadoop.tmp.dir</name>
                      　　<value>/opt/hdfs/tmp</value>
            　　 </property>

3）修改hdfs-site.xml文件

<property>
　　 <name>dfs.replication</name>
　　 <value>3</value>
　　</property>
　　 <property>
　　 <name>dfs.name.dir</name>
　　 <value>/opt/data/name</value>
　　 </property>
　　 <property>
　　 <name>dfs.data.dir</name>
　　 <value>/opt/data/data</value>
　　 </property>

4）修改mapred-site.xml文件要先执行cp 命令(cp mapred-site.xml.template mapred-site.xml)

　　　　　　<property>
                   　　 <name>mapreduce.framework.name</name>
                  　　   <value>yarn</value>
             　　</property>

5）修改yarn-site.xml文件

　　　　 <property>
                 　　    <name>yarn.resourcemanager.address</name>
                 　　    <value>master:8080</value>
               　　 </property>
               　　 <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
                  　　   <value>master:8082</value>
               　　 </property>
              　　 <property>
                　　     <name>yarn.nodemanager.aux-services</name>
               　　      <value>mapreduce_shuffle</value>
              　　 </property>
               　　 <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                 　　    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
               　　 </property>