上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 39 下一页
摘要: #!/bin/sh #yarn job status:NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED nnum=$(xx/yarn application -list -appStates NEW | wc -l) n 阅读全文
posted @ 2019-04-17 18:22 信方 阅读(937) 评论(0) 推荐(0) 编辑
摘要: 目前zookeeper获取监控指标已知的有两种方式: 1、通过zookeeper自带的 four letter words command 获取各种各样的监控指标 2、通过JMX Client连接zookeeer对外提供的MBean来 获取监控指标 (需要修改启动脚本,使其支持远程JMX连接) 上述 阅读全文
posted @ 2019-04-17 10:11 信方 阅读(1576) 评论(0) 推荐(0) 编辑
摘要: 参考:http://www.lixiuliang.cn/categories/%E5%A4%A7%E6%95%B0%E6%8D%AE/ 1.修改bin/hive文件 添加jvm启动参数: 2.修改conf/hive-site.xml文件 开启MetaStore JXMReporter: 3.启动Me 阅读全文
posted @ 2019-04-17 09:50 信方 阅读(1507) 评论(0) 推荐(0) 编辑
摘要: 1.hadoop-env.sh添加export HADOOP_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=6999 -Dcom.sun.manageme 阅读全文
posted @ 2019-04-16 15:32 信方 阅读(818) 评论(0) 推荐(0) 编辑
摘要: 一、故障现象 两个节点的ResourceManger频繁在active和standby角色中切换。不断有active易主的告警发出 许多任务的状态没能成功更新,导致一些任务状态卡在NEW_SAVING无法进入调度(还有许多资源空闲) 看了下ResourceManger的日志,发现大量以下错误: or 阅读全文
posted @ 2019-04-12 15:43 信方 阅读(830) 评论(0) 推荐(0) 编辑
摘要: 1. Map输入合并小文件对应参数:set mapred.max.split.size=256000000; #每个Map最大输入大小set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 set mapred.min.spli 阅读全文
posted @ 2019-04-10 15:57 信方 阅读(1352) 评论(0) 推荐(0) 编辑
摘要: salt '*id*' test.ping salt -N 组名 cmd.run '' salt -G "ipv4:0.0.0.0" cmd.run '' salt '*id*' cp.get_file salt://xxx/xxx /xxx/xxx salt -N 组名 state.apply h 阅读全文
posted @ 2019-04-09 14:09 信方 阅读(1254) 评论(0) 推荐(0) 编辑
摘要: 系统参数监控metrics load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime 系统启动时间,精确到秒 bytes_in 网络接收速度,单位bytes/sec bytes_out 网络发送速度,单位 阅读全文
posted @ 2019-04-04 10:12 信方 阅读(4456) 评论(0) 推荐(0) 编辑
摘要: 1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换。hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换【可选】hdfs haadmin -ns bdpfin 阅读全文
posted @ 2019-04-03 15:10 信方 阅读(344) 评论(0) 推荐(0) 编辑
摘要: Grafan监控:http://docs.grafana.org/ Tez:http://tez.apache.org/install.html 阿里巴巴镜像:https://opsx.alibaba.com/mirror Hadoop官方文档:http://hadoop.apache.org/do 阅读全文
posted @ 2019-03-29 11:01 信方 阅读(165) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 39 下一页