Hadoop 完全并行模式
注意：使用xysnc，出现权限问题，使用 root
一、基本配置
1、hosts 和 hostname
2、开启 ssh 和 无密连接
3、固定静态IP
4、配置 xsync
5、安装配置JDK
6、安装配置Hadoop
7、修改权限 (若不修改权限会出现权限问题)
sudo chown -R tom:tom /opt/module/hadoop-2.7.7/
二、核心配置文件
1、HDFS
vi core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://wt:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.7/data/tmp</value> </property> -------------------------- vi hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 -------------------------- vi hdfs-site.xml <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>wt3:50090</value> </property>
2、YARN
vi yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 --------------------------- vi yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>wt2</value> </property>
3、MapReduce
vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 ------------------------ mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml <!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
同步
xsync /opt/module/hadoop-2.7.7/
三、开启端口
sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent sudo firewall-cmd --reload sudo firewall-cmd --query-port=50070/tcp
端口
9000
8021 8088 19888 10020
50010
50020
50030
50060
50070
50090
50075
四、群起
1、配置slaves
# 打开slaves文件 vim etc/hadoop/slaves # 增加相应的节点, 不允许有空格，不允许有空行 wt1 wt2 wt3
2、同步
xsync slaves
3、群起
# 启动dfs 在NmaeNode的节点； 启动Yarn 在ResourceManager的节点 sbin/start-dfs.sh sbin/start-yarn.sh
五、测试
bin/hdfs dfs -put /opt/software/jdk-8u261-linux-x64.tar.gz /
问题：只有NameNode 的 节点 有备份
解决方案：具体哪个没验证
https://www.cnblogs.com/zhxiaoxiao/p/10207463.html
