11.2hadoop监控：日志配置、堆栈跟踪、度量和JMX

1.1  监控

检测集群的健康状态，避免宕机。

1.1.1         日志

访问http://resource-manager-host:8088/logLevel去设置日志级别，用于排查问题。

或者用命令hadoop daemonlog –setlevel resource-manager-host:8088 org.apche.hadoop.yarn.server.resourcemanager DEBUG.这些配置会在守护进程重启时复位，在log4j.properties文件中去配置才永久。

1.1.2         获取堆栈跟踪

通过http://resource-manager-host:8088/stacks获取资源管理器的线程dump。

1.1.3         度量和JMX（JAVA管理扩展）

各个datanode守护进程收集：写入的字节数，块的复本数，客户端发起的读操作请求数。度量是守护进程去收集，而计数器是对mapreduce任务进行采集，在针对作业进行汇总。度量是管理员服务，计数器是用户服务。所有的度量都发布给JMX，可以用jdk自带的JConsole查看度量信息。或者用http://namenode-host:50070/jmx查看namenode的度量。远程监控要将hadoop-env.sh中设置HADOOP_NAMENODE_OPTS=”-D com.sun.managerment.jmxremote.port=8004”

自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取：

https://www.cnblogs.com/bclshuai/p/11380657.html