集群的高级设定 集群时间设置
1 时间同步 2 历史服务器 3 日志合并
时间同步
时间同步设置的第二种方式: 启动 service NTP
先将主节点的同步时间设置 然后在将从节点的时间同步
主节点:
1.vim /etc/ntp.conf
a.将与网络同步的时间设置注释
b.注释a的上面将内容写入 注:和主节点时间一样分发给其他节点
restrict default ignore
restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
c. 注释a的下面写入 注:不用网络同步 用主节点时间同步
server 127.127.1.0
fudge 127.127.1.0 stratum 10
2.配置文件设置好以后 输入命令同步时间
service ntpd restart
可以查看一下状态:service ntpd status
每台从节点:
输入同步命令:ntpdate linux04
注:linux04 是主节点的主机名称
下图都有:
1. 修改配置文件:vi /etc/ntp.conf
restrict default ignore
restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
注:如果不对 请在 ignore这个单词后面+v试一下
注:192.168.10.0 是自己Linux的IP地址
--------------------------------------------------------------------
server 127.127.1.0
fudge 127.127.1.0 stratum 10
改完配置要重启ntp服务 service ntpd restart
第一台机器启动ntp服务:
第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步
和第一台机器同步:
第三台也是一样的
其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务
继续配置 每隔10秒同步一下时间:
注意全路径
* * * * * /usr/sbin/ntpdate zhangqi
* * * * * sleep 10: /usr/sbin/ntpdate zhangqi
* * * * * sleep 20: /usr/sbin/ntpdate zhangqi
* * * * * sleep 30: /usr/sbin/ntpdate zhangqi
* * * * * sleep 40: /usr/sbin/ntpdate zhangqi
* * * * * sleep 50: /usr/sbin/ntpdate zhangqi
第一台改一下时间:
第二台一直date最终会和第一台同步时间:
第三台一直date最终会和第一台同步时间:
配置历史服务器
运行一个wc程序
然后 去这个工具 修改配置文件 三台机子的配置文件都改
<property>
<name>yarn.log-aggregation-enable</name>
<!--开启日志聚合 -->
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/hadoop/logs</value>
</property>
去 Xshell 里面 将
stop-yarn.sh ------------------start-yarn.sh--------jps
打开job进程 :mr-jobhistory-daemon.sh start historyserver------------(这个是关闭job:mr-jobhistory-daemon.sh stop historyserver)
jsp 查看一下