摘要: org.apache.hadoop.util.GenericOptionsParser mark 主要解析命令行传递给RM的参数,没什么好分析的用的Hadoop Cli工具,将命令工具参数设置到了YarnConfiguration当中 /** * Modify configuration according user-specified generic options... 阅读全文
posted @ 2015-08-18 17:13 闫昆 阅读(539) 评论(0) 推荐(0) 编辑
摘要: RM源码中实现了一个有序并有优先级的Hook,ShutdownHookManager相比JVM本身的执行Hook方式具有如下两种特性(默认JVM执行,无序,并发)1.顺序2.有优先级++++++++类被初始化时候执行1.设置shutdownInProgress标示2.执行Hook按照调度优先级pri... 阅读全文
posted @ 2015-08-18 16:29 闫昆 阅读(3002) 评论(0) 推荐(0) 编辑
摘要: 启动日志打印:入口 主要打印:见红色字体处,也就是日志当中的信息 StringUtils.startupShutdownMessage(ResourceManager.class, argv, LOG); /** * Print a log message for starting up and shutting down * @param clazz th... 阅读全文
posted @ 2015-08-18 15:38 闫昆 阅读(946) 评论(0) 推荐(0) 编辑
摘要: 看到RM在处理异常的时候使用了两种退出方式,而且是针对不同的异常。特意查询了一些资料来看看,两种方式有什么不同。System.exit终止当前正在运行的Java虚拟机。参数作为状态代码,按照惯例,一个非零状态码表示异常终止。用线程描述,在多线程情况下,可能更准确一些1.调用方法后,线程会退出2.未捕... 阅读全文
posted @ 2015-08-18 15:13 闫昆 阅读(3099) 评论(0) 推荐(0) 编辑
摘要: 总结一下: Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler()); 方法主要记录,异常日志信息,并且记录完成后退出。 public static void main(String argv[]) { Thread.setDefaultUncaught... 阅读全文
posted @ 2015-08-18 11:44 闫昆 阅读(496) 评论(0) 推荐(0) 编辑
摘要: 刚刚看到ResourceManager源码第一行,就遇到了比较陌生的用法,特意研究一下,如何使用? 看源码的目标不就是学习,更好的来完善自己的代码,而不是面试时候的谈资。 下面是一个自己写的demo,setDefaultUncaughtExceptionHandler作用相当于一个全局的catch。一般情况下用于记录当程序发生你未捕获的异常的时候,调用一个你默认的handler来进行某些... 阅读全文
posted @ 2015-08-18 11:05 闫昆 阅读(7568) 评论(0) 推荐(0) 编辑
摘要: 好了,让我们先来看看RPC的基础Server类的具体实现,很多设计思想和实践方式值的学习。重点不是看过源码,而是从源码中学习到了什么。尤其是其中,wait和notify的使用很好的学习范例,当然还有反射...Server start()方法是入口类,基本线程都是Daemon方式让我们来看看run里面执行了什么,主要是建立socket读取客户度请求。并将客户度请求并封装为call放入队列,提醒消费者... 阅读全文
posted @ 2015-08-01 00:33 闫昆 阅读(266) 评论(0) 推荐(0) 编辑
摘要: Hi all 今天就要开始写hadoop相关源码blog了,内心还是比较激动,虽然说做了一段时间了。版本为Hadoop 0.1.0 额很原始的版本,Cutting大神当时从Nutch分离出来的项目。Hadoop命名和Nutch命名请看如下讨论https://issues.apache.org/jira/browse/HADOOP-1以上算是开篇啦。Y(^_^)Y 阅读全文
posted @ 2015-07-31 23:00 闫昆 阅读(130) 评论(0) 推荐(0) 编辑
摘要: Nginx常用命令Nginx PID位置/var/run/nginx.pidNginx关闭Nginx支持以下几种信号控制:- TERM, INT 快速关闭- QUIT 从容关闭- HUP 平滑重启- USR1 重新打开日志文件,在切割文件时用处大- USR2 平滑升级- WINCH 从容关闭工作进程#从容停止Nginx kill -QUIT master进程号 #快速停止Nginx kill... 阅读全文
posted @ 2015-07-31 22:39 闫昆 阅读(413) 评论(0) 推荐(0) 编辑
摘要: Nginx高性能HTTP和反向代理服务器局限:只支持HTTP和Mail两种Nginx使用高效的网络I/O模型,针对不同的Linux 发布版 epoll(Linux 2.6内核) kqueue(FreeBSD) eventport(Solaris 10)Nginx服务器能够支持高达50000个并发连接数的响应,MEM,CPU资源消耗较低(实际生产环境2~4万并发连接数)Ngi... 阅读全文
posted @ 2015-07-31 22:38 闫昆 阅读(890) 评论(0) 推荐(0) 编辑