集群的高级设定
1 时间同步 2 历史服务器 3 日志合并
配置 ntp服务器
修改配置文件 vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict default ignore
restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap (ip是自己的)
改完配置要重启ntp服务
第一台机器启动ntp服务:
第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步
和第一台机器同步:
第三台也是一样的
其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务
继续配置crontab -e 每隔10秒同步一下时间:注意全路径
* * * * * /usr/sbin/ntpdate 主机名
* * * * * sleep 10: /usr/sbin/ntpdate 主机名
* * * * * sleep 20: /usr/sbin/ntpdate 主机名
* * * * * sleep 30: /usr/sbin/ntpdate 主机名
* * * * * sleep 40: /usr/sbin/ntpdate 主机名
* * * * * sleep 50: /usr/sbin/ntpdate 主机名
第一台改一下时间:
第二台一直date最终会和第一台同步时间:
第三台一直date最终会和第一台同步时间:
配置历史服务器
运行一个wc程序
去观察 yarn的页面
去观察你提交程序的历史信息以及分布在各个节点还需要配置日志聚合
历史服务器 是mapre-site.xml文件
将文件scp: 单台:注意第三台不需要分发
启动历史服务器:
mr-jobhistory-daemon.sh start historyserver
日志聚合 在yarn-site.xml中
<property>
<name>yarn.log-aggregation-enable</name>
<!--开启日志聚合 -->
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/hadoop/logs</value>
</property>
注意分发到另外两台节点:
重启 yarn:stop-yarn.sh
再重启下历史服务器
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步