2021 年 9月随笔档案 - apeGcWell

HotSpot经典垃圾收集器

摘要：内容摘抄自《深入理解Java虚拟机第三版》这里讨论的是在JDK7 Update4之后的，JDK11正式发布之前的，OracleJDK中的HotSpot虚拟机所包含的全部可用的垃圾收集器各款经典的垃圾收集器如下图3-6所示图3-6展示了用于不同分代的收集器，如果两个收集器之间存在连线说明它们可阅读全文

posted @ 2021-09-25 23:45 apeGcWell 阅读(132) 评论(0) 推荐(0) 编辑

Spark Key-Value RDD操作

摘要：下述操作在Spark shell中 RDD整体上分为Value 类型和 Key-Value类型。实际使用更多的是key-value 类型的RDD，也称为PairRDD Value 类型RDD的操作基本集中在 RDD.scala 中 key-value 类型的RDD操作集中在 PairRDDFunc 阅读全文

posted @ 2021-09-25 22:43 apeGcWell 阅读(141) 评论(0) 推荐(0) 编辑

FLINK1.12的Hbase的DATE，TIME，TIMESTAMP类型学习

摘要：类型解释 DATE 从 1970-01-01 00:00:00 UTC 开始的天数，int 值。 TIME 从 1970-01-01 00:00:00 UTC 开始天的毫秒数，int 值。 TIMESTAMP 从 1970-01-01 00:00:00 UTC 开始的毫秒数，long 值。 1.1 阅读全文

posted @ 2021-09-24 13:12 apeGcWell 阅读(831) 评论(0) 推荐(0) 编辑

Spark Action算子简介

摘要：Action 用来触发RDD的计算，得到相关计算结果 Action触发Job。一个Spark程序(Driver程序)包含了多少 Action 算子，那么就有多少Job；典型的Action算子: collect / count collect() => sc.runJob() => ... => 阅读全文

posted @ 2021-09-23 23:39 apeGcWell 阅读(621) 评论(0) 推荐(0) 编辑

Spark Transformation 算子简介

摘要：1 Transformation 算子 RDD的操作算子分为两类： Transformation。用来对RDD进行转化，这个操作时延迟执行的（或者说是 Lazy 的)；返回一个新的RDD Action。用来触发RDD的计算；得到相关计算结果或者将结果保存的外部系统中；返回结果int、doubl 阅读全文

posted @ 2021-09-23 23:38 apeGcWell 阅读(292) 评论(0) 推荐(0) 编辑

Spark-RDD简介

摘要：1 RDD 介绍 Resilient Distributed Dataset (RDD), 弹性分布式数据集 RDD 是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合 RDD包含5个特征：一个分区的列表一个计算函数compute，对每个分区进行计算对其他RDDs的依赖（宽依赖阅读全文

posted @ 2021-09-23 23:37 apeGcWell 阅读(83) 评论(0) 推荐(0) 编辑

spark-2.4.5的standalone的部署

摘要：1 spark的standalone的部署 Spark支持3种集群部署模式：Standalone、Yarn、Mesos； Standalone模式独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础 Cluster Manager 阅读全文

posted @ 2021-09-23 00:14 apeGcWell 阅读(205) 评论(0) 推荐(0) 编辑

垃圾收集算法-分代理论

摘要：内容摘抄自《深入理解Java虚拟机第三版》 3.3 垃圾收集算法从如何判定对象消亡角度出发，垃圾收集算法可划分为引用计数式垃圾收集（Reference Counting GC）和追踪式垃圾收集（Tracing GC），这两类也被称为直接垃圾收集和间接垃圾收集。本文所有的算法都是追踪式垃圾收集 3 阅读全文

posted @ 2021-09-17 00:00 apeGcWell 阅读(253) 评论(0) 推荐(0) 编辑

Griffin-0.5.0 编译安装

摘要：1 编译安装软件链接链接：https://pan.baidu.com/s/1464iXOObzkr_mrkqPcvQ3g 提取码：gcwe 1.1 相关依赖 JDK (1.8 or later versions) MySQL(version 5.6及以上) Hadoop (2.6.0 or la 阅读全文

posted @ 2021-09-13 23:12 apeGcWell 阅读(217) 评论(0) 推荐(0) 编辑

垃圾收集器与内存分配策略

摘要：内容摘抄自《深入理解Java虚拟机第三版》 3.1 简介略 3.2 对象已死？在堆中存放着Java几乎所有的对象的实例，垃圾收集器在对堆进行回收之前首先判断那些对象还活着，那些对象已经死去（死去意旨不被任何途径使用的对象） 3.2.1 引用计数法很多书籍上判断对象是否存活的算法是这样的：在对阅读全文

posted @ 2021-09-10 00:21 apeGcWell 阅读(35) 评论(0) 推荐(0) 编辑

AirFlow 1.10.11的安装部署

摘要：1 AirFlow 介绍参见官网 2 AirFlow 1.10.11的安装部署 2.1 安装依赖 Centos7.x Python3.5或以上（本次采用3.6.6） Mysql5.7.x Apache-Airflow 1.10.11 可访问外网若是虚拟机等，安装前可备份或快照，以免安装失败，导致阅读全文

posted @ 2021-09-09 23:24 apeGcWell 阅读(881) 评论(0) 推荐(0) 编辑

原码反码补码及简单应用

摘要：0 前提在Java中，所有数据的表示方式都是以补码形式来表示在Java中，所有数据的表示方式都是以补码形式来表示在Java中，所有数据的表示方式都是以补码形式来表示 public static void main(String[] args) { int num = 5; System.out 阅读全文

posted @ 2021-09-09 00:09 apeGcWell 阅读(229) 评论(0) 推荐(0) 编辑

基于hotspot的堆的对象分配，布局和访问

摘要：内容摘抄自《深入理解Java虚拟机第三版》 1.1对象创建 Java是一面向对象的编程语言。而对象的创通常（例外：复制，反序列化）仅仅是一个new关键字而已。对象创建过程当Java虚拟机遇到一条字节码new指令时，首先检索这个指令的参数是否能在常量池中定位一个类的符号的引用，并且检查这个符号引阅读全文

posted @ 2021-09-07 00:10 apeGcWell 阅读(87) 评论(0) 推荐(0) 编辑

09 2021 档案