centos 7
安装好hadoop的,hadoop和yarn都正常启动,但是yarn的web界面(8088),hdfs的web界面(50070)都不能打开,防火墙是处于关闭状态。
修改默认启动级别,改为5,图形界面模式:
systemctl set-default graphical.target
如果要改为 3 :
systemctl set-default multi-user.target
重启系统。
启动hadoop、yarn。
打开界面,yarn的界面可以访问,hdfs的不行。
执行命令: netstat -nltp
[root@venn05 hadoop]# netstat -nltp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:35115 0.0.0.0:* LISTEN 9344/java tcp 0 0 0.0.0.0:9868 0.0.0.0:* LISTEN 8816/java tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd tcp 0 0 192.168.1.5:8020 0.0.0.0:* LISTEN 8467/java tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 1203/dnsmasq tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 972/sshd tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 971/cupsd tcp 0 0 127.0.0.1:8088 0.0.0.0:* LISTEN 9048/java tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1086/master tcp 0 0 0.0.0.0:13562 0.0.0.0:* LISTEN 9344/java tcp 0 0 192.168.1.5:8030 0.0.0.0:* LISTEN 9048/java tcp 0 0 192.168.1.5:8031 0.0.0.0:* LISTEN 9048/java tcp 0 0 192.168.1.5:8032 0.0.0.0:* LISTEN 9048/java tcp 0 0 192.168.1.5:8033 0.0.0.0:* LISTEN 9048/java tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 9344/java tcp 0 0 0.0.0.0:8042 0.0.0.0:* LISTEN 9344/java tcp6 0 0 :::111 :::* LISTEN 1/systemd tcp6 0 0 :::22 :::* LISTEN 972/sshd tcp6 0 0 ::1:631 :::* LISTEN 9
50070端口,没有程序使用,怀疑是程序没有正常运行。
查看 hdfs-site.xml 文件,空的,没有配置。
添加配置:
<property>
<name>dfs.namenode.http-address</name>
<value>venn05:50070</value>
</property>
配置hdfs的namenode的ip地址、端口
重启hadoop、yarn。
在虚拟机内,使用浏览器,yarn的web界面(8088),hdfs的web界面(50070)都可以打开。
执行命令:
netstat -nltp
可以看到
[root@venn05 hadoop]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:35115 0.0.0.0:* LISTEN 9344/java
tcp 0 0 0.0.0.0:9868 0.0.0.0:* LISTEN 8816/java
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
tcp 0 0 127.0.0.1:8020 0.0.0.0:* LISTEN 8467/java
tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 1203/dnsmasq
tcp 0 0 127.0.0.1:50070 0.0.0.0:* LISTEN 8467/java
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 972/sshd
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 971/cupsd
tcp 0 0 127.0.0.1:8088 0.0.0.0:* LISTEN 9048/java
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1086/master
tcp 0 0 0.0.0.0:13562 0.0.0.0:* LISTEN 9344/java
tcp 0 0 127.0.0.1:8030 0.0.0.0:* LISTEN 9048/java
tcp 0 0 127.0.0.1:8031 0.0.0.0:* LISTEN 9048/java
tcp 0 0 127.0.0.1:8032 0.0.0.0:* LISTEN 9048/java
tcp 0 0 127.0.0.1:8033 0.0.0.0:* LISTEN 9048/java
tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 9344/java
tcp 0 0 0.0.0.0:8042 0.0.0.0:* LISTEN 9344/java
tcp6 0 0 :::111 :::* LISTEN 1/systemd
tcp6 0 0 :::22 :::* LISTEN 972/sshd
tcp6 0 0 ::1:631 :::* LISTEN 971/cupsd
tcp6 0 0 ::1:25 :::* LISTEN 1086/master
hadoop、yarn的程序,都起在 127.0.0.1 上,所以只有本机可以访问。
打开/etc/hosts 文件:
[root@venn05 hadoop]# more /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 venn05 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
发现,在127.0.0.1 后面配置了一个主机名,会导致在yarn-site.xml 中配置的resourcemanager 的hostname指向 127.0.0.1
<property>
<name>yarn.resourcemanager.hostname</name>
<value>venn05</value>
</property>
修改hosts文件,去掉127.0.0.1 后面的主机名
配置 ip 主机名
[root@venn05 hadoop]# more /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.1.5 venn05 192.168.1.6 venn06 192.168.1.7 venn07
重启hadoop、yarn服务,yarn、hdfs的web界面正常访问