2021年12月8日
Hdfs Namenode Namespace分析
摘要： Namenode上主要占用内存的实例 org.apache.hadoop.hdfs.server.namenode.INodeFile org.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguous org.apache.hadoo 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(121) 评论(0) 推荐(0) 编辑
Hadoop HA中EditLogTailer的作用
摘要： 分析EditTailer在namenode日志同步中的作用 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(286) 评论(0) 推荐(0) 编辑
Hadoop HA主备切换导致JournalNode epoch增加的函数调用流程
摘要： 切换至active namenode执行日志 2021-12-07 08:08:19,784 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Stopping services started for standby state 2 阅读全文
posted @ 2021-12-08 14:18 Yu\.W 阅读(753) 评论(0) 推荐(0) 编辑
Hive QL模块TezSessionState分析
摘要： * 阅读全文
posted @ 2021-12-08 14:17 Yu\.W 阅读(80) 评论(0) 推荐(0) 编辑
Hdfs Active Namenode向JournalNode同步editlog流程
摘要： FSEditLog Active namenode进程上使用的类，达到条件后执行logSync()向journalnode同步最新的EditLog段 调用过程 FSEditLog.logSync(long mytxid) ->EditLogOutputStream.flush() ->EditLog 阅读全文
posted @ 2021-12-08 01:33 Yu\.W 阅读(240) 评论(0) 推荐(0) 编辑
2021年9月29日
NodeManager Recovery特性对Tez任务的影响
摘要： NodeManager退出对ResourceManager的影响 在直接kill nodemanager进程 或 执行/opt/hadoop/bin/yarn --daemon stop nodemanager，并且没有设置recovery时，resourcemanager上状态改为shutdown 阅读全文
posted @ 2021-09-29 16:12 Yu\.W 阅读(173) 评论(0) 推荐(0) 编辑
2019年8月24日
Java虚拟机：jstat
摘要： jstat [ option vmid [interval [s|ms] [count]] ] 主要关注类装载、内存、垃圾收集、JIT编译等 远程虚拟机进程VMID格式：[prototol:][//]lvmid[ @hostname[:port]/servername ] 需要远程主机提供RMI支持 阅读全文
posted @ 2019-08-24 00:12 Yu\.W 阅读(37) 评论(0) 推荐(0) 编辑
2019年8月23日
Java虚拟机：jps
摘要： jps [options] [hostid] 选项 作用 -q 只输出LVMID，省略主类的名称 -m 输出虚拟机进程启动时传递给主类main()函数的参数 -l 输出主类的全名，如果执行的是jar包，输出jar路径 -v 输出虚拟机进程启动时JVM参数 LVMID（Local Virtual Ma 阅读全文
posted @ 2019-08-23 23:54 Yu\.W 阅读(42) 评论(0) 推荐(0) 编辑
Linux journalctl命令
摘要： journalctl 阅读全文
posted @ 2019-08-23 21:53 Yu\.W 阅读(32) 评论(0) 推荐(0) 编辑
Linux lsof命令
摘要： Lsof 阅读全文
posted @ 2019-08-23 21:52 Yu\.W 阅读(31) 评论(0) 推荐(0) 编辑