HADOOP 网络搭建设置
设置虚拟机DNS
主机网络配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
IPADDR=192.168.56.110
NETMASK=255.255.255.0
GATEWAY=192.168.56.10
ONBOOT=yes
vi /etc/NetworkManager/NetworkManager.conf
添加一行内容dns=none
然后重启网络管理：
systemctl restart NetworkManager.service
修改域名解析配置文件 vi /etc/resolv.conf
nameserver 192.168.20.3 #这里是修改DNS
最后重启网络service network restart
ping www.baidu.com可ping通即配置成功。
安装Xshell连接软件
关闭防火墙
systemctl status firewalld.service
查看防火墙状态
systemctl stop firewalld.service
该命令输入和执行后，终端不会有输出。要检查执行是否成功，可以再次使用状态检查命令。
systemctl disable firewalld.service
该命令使防火墙在下次启动计算机的时候取消防火墙服务。
服务器系统设置
设置主机名
vi /etc/sysconfig/network
添加 NETWORKING = yes
HOSTNAME=MJ1
如果只修改 network 文件，下次重启虚拟机时，会发现修改后的名字又回到原来的 localhost 去了。原来上面只修改了瞬态（Transient）主机名，并没有修改静态（Static）主机名。因此，仍然要进行修改，这一次输入
“ vi /etc/hostname”
命令在编辑器中输入如下代码：MJ1，保存并退出，回到终端主窗口。
请重复上述操作方法，将其他虚拟机的主机名也从缺省的 localhost 修改为对应的 slave0 和 slave1。
服务器系统设置
一，集群机器时间同步
安装ntpdate，命令：yum install ntpdate
网络同步时间，命令：ntpdate cn.pool.ntp.org
二，配置IP主机名映射
设置主机名IP映射，命令：vi /etc/hosts
192.168.20.20 MJ1
192.168.20.21 MJ2
192.168.20.22 MJ3
三，复制虚拟机注意虚拟机ip地址
四，配置ssh免密登录（本身机器访问本身也要免密登录，配置机器到自己、其他机器的免密登录）
1、生成免密登录秘钥
命令：ssh-keygen - t rsa (四个回车)
2、秘钥生成之后会产生id_rsa（私钥），id_rsa.pub(公钥)，将公钥拷贝到要免密登录的机器上面去。
首先自己免密码登陆：把自己的公钥文件追加到本地认证文件中去
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
JDK环境准备
1、jdk的卸载和安装
安装yum install lrzsz
我们要安装标准的jdk，如果不是标准的jdk，比如openJDK要卸载。
卸载命令：rpm –qa | grep java 查找安装包
rpm –e --nodeps 包名
2、创建文件夹用来放置安装的软件如jdk,zookeeper
命令：mkdir /use/java
3、上传jdk包：rz拖拽
4、安装命令 tar zxvf 包名
5、修改设置全局变量3台机器都要添加：
vi /etc/profile 加入下面内容
export JAVA_HOME=/usr/lcal/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.😒{JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:$
6、重新加载profile文件:source /etc/profile
①使用javac命令，不会出现command not found错误
②、使用java -version，出现版本为java version "1.8.0_131"
③、echo $PATH，看看自己刚刚设置的的环境变量配置是否都正确
7，上传完后，在master主机进入/opt/hadoop目录，执行解压缩命令“tar -zxvf hadoop-2.7.5.tar.gz”
配置env文件
修改”/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh”文件，找到“export JAVA_HOME”这行，配置jdk路径。如图
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
配置Hadoop 的核心组件文件是 core-site.xml
添加这个临时文件保存目录 首先你得创建这个目录
<property>
<name>fs.defaultFS</name>
<value>hdfs://MJ1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoopdata</value>
</property>
配置Hadoop 的文件系统配置文件是 hdfs-site.xml
这里可以配置主机网站端口可以通过浏览器来访问web监控页面
上传和下载文件端口是9000
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
配置slaves（配置masters）
拷贝 到 MJ2 MJ3
scp -r hadoop-2.7.6/ root@MJ2:/usr/local/
配置hadoop环境变量
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后把hadoop环境变量传给其余几台
scp /etc/profile root@MJ3:/etc/
重新启动环境变量
source /etc/profile
格式化你的主机不能在奴隶机上用
hdfs namenode -format
启动hdfs
start -dfs.sh
到这里已经装好HDFS了可以输入网址查看 http://192.168.20.20:50070
下面装yarn
重命名为mapred-site.xml.template
mv mapred-site.xml.template mapred-site.xml
修改
修改
yarn-site.xml
添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>MJ1:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>MJ1:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>MJ1:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>MJ1:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>MJ:18088</value>
</property>
指定mr运行在yarn上，默认是local，本地模仿一个资源环境
把修改过的两个文件分别覆盖自己得奴隶机
启动yarn
ResourceManage：http://192.168.247.11:8088 （Yarn管理界面）查看
