2021年12月26日
Spark记录
摘要： RDD只是一个逻辑概念，在内存中并不会真正地为某个RDD分配存储空间（除非该RDD需要被缓存）。 数据操作分为transform()和action()两种。 transform()是一个单向操作，rdd1进行操作后会产生新的rdd2，不会修改rdd1。 依赖 窄依赖（NarrowDependency 阅读全文
posted @ 2021-12-26 22:52 Yu\.W 阅读(40) 评论(0) 推荐(0) 编辑
Java虚拟机类加载过程
摘要： 加载 获取类的二进制字节流 字节流所代表的静态存储结构转化为方法区的运行时数据结构 内存中生成一个代表该类的java.lang.Class对象，作为方法区这个类的各种数据的访问入口 连接 验证 文件格式验证 元数据验证 是否有父类 是否继承了不允许被继承的类 保证不存在与《Java语言规范》定义相违 阅读全文
posted @ 2021-12-26 22:22 Yu\.W 阅读(30) 评论(0) 推荐(0) 编辑
2021年12月22日
设计模式
摘要： 设计原则 单一职责原则 里氏替换原则 子类必须完全实现父类的方法。 子类实现自己的逻辑。 覆盖或实现父类的方法时输入参数可以被放大。 覆盖或实现父类的方法时输出结果可以被缩小。 依赖倒置原则 构造函数传递依赖对象。 Setter方法传递依赖对象。 接口声明依赖对象。 接口隔离原则 根据接口隔离原则拆 阅读全文
posted @ 2021-12-22 20:21 Yu\.W 阅读(40) 评论(0) 推荐(0) 编辑
2021年12月17日
yarn app启动过程
摘要： CapacityScheduler.addApplication() →RMAppImpl.handle() // .addTransition(RMAppState.SUBMITTED, RMAppState.ACCEPTED, RMAppEventType.APP_ACCEPTED, new S 阅读全文
posted @ 2021-12-17 17:25 Yu\.W 阅读(129) 评论(0) 推荐(0) 编辑
2021年12月16日
Hive QL模块SemanticAnalyzer分析
摘要： void analyzeInternal(ASTNode ast, PlannerContext plannerCtx) throws SemanticException { // 1. Generate Resolved Parse tree from syntax tree 生成解析树 LOG. 阅读全文
posted @ 2021-12-16 16:57 Yu\.W 阅读(373) 评论(0) 推荐(0) 编辑
2021年12月10日
Nodemanager Container启动过程
摘要： default_container_executor.sh #!/bin/bash /bin/bash "/tmp/hadoop-yarn/nm-local-dir/usercache/hive/appcache/application_1631589808308_0023/container_e2 阅读全文
posted @ 2021-12-10 11:44 Yu\.W 阅读(258) 评论(0) 推荐(0) 编辑
Zookeeper
摘要： LearnerHandler There will be an instance of this class created by the Leader for each learner. All communication with a learner is handled by this cla 阅读全文
posted @ 2021-12-10 11:32 Yu\.W 阅读(33) 评论(0) 推荐(0) 编辑
Tez分析
摘要： Tez相关类 AMNodeImpl .addTransition(AMNodeState.ACTIVE, AMNodeState.UNHEALTHY, AMNodeEventType.N_TURNED_UNHEALTHY, new NodeTurnedUnhealthyTransition()) N 阅读全文
posted @ 2021-12-10 11:27 Yu\.W 阅读(152) 评论(0) 推荐(0) 编辑
Hive QL模块执行计划优化分析
摘要： Transform 查询优化的基类，优化过程通过子类重写transform(ParseContext pctx)函数实现。 /** * Optimizer interface. All the rule-based optimizations implement this * interface. 阅读全文
posted @ 2021-12-10 01:35 Yu\.W 阅读(70) 评论(0) 推荐(0) 编辑
Hive QL模块执行过程分析
摘要： DriverState 本线程的Driver的状态机，同时包含可重入锁 /** * Represents the driver's state. Also has mechanism for locking for the time of state transitions. */ public c 阅读全文
posted @ 2021-12-10 00:17 Yu\.W 阅读(223) 评论(0) 推荐(0) 编辑