企业生产环境集群稳定性-HA就行吗?
在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,
HA分冷备和热备,热备是集群自带的,冷备就是硬件的。
这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode、master崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了?
咋办?
这就是冷备的需要,进程掉了,在服务器运行的情况下:
有一种机制可以启动进程服务,crontab+shell
五分钟之内检查进程情况,没有启动(时间自定义)
################################################################ #!/bin/bash #该脚本用于监控Linux主机上的进程,由于某些情况进程丢失,而人员没有 #即时发觉得情况 #下面例子是jps->RunJar进程的监管 #在Linux服务器上创建一个crontab任务定时检查 #作者:舆 #时间:2016年 ################################################################ ab=`jps | awk '{print $2=="RunJar"}'` res=0 OLD_IFS="$IFS" IFS=" " arr=($ab) IFS="$OLD_IFS" for s in ${arr[@]} do if [ "$s" = "1" ] then ((res++)) fi done echo $res if [ $res \> 0 ] then echo "进程存在" else echo "进程不存在" hive --service metastore & fi
本脚本以hive进程测试成功
是想,生产环境下,上述情况是不是可以缓解,脚本写日志文件处理是不是也可以。
作者:舆-风动名扬 出处:http://www.cnblogs.com/gnool/
© 作者和博客园,欢迎转载,未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。如果觉得还有帮助的话,可以点一下右下角的【推荐】想跟我一起进步么?那就【关注】我吧。