2022年11月22日
hudi with flink1.14验证
摘要： hudi with flink datastream by java 版本 flink1.14 hudi0.12.1 工程结构 pom依赖 <dependencies> <dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi- 阅读全文
posted @ 2022-11-22 17:46 just-JL 阅读(72) 评论(0) 推荐(0)
hudi编译
摘要： hudi0.11.0+spark3.2 mvn clean install -DskipTests -Dspark3.2 -Dscala-2.12 编译产物在packaging下的hudi-spark-bundle目录 hudi0.12.1+spark3.2 pom配置修改 方式一： 父pom文件修 阅读全文
posted @ 2022-11-22 17:34 just-JL 阅读(511) 评论(0) 推荐(0)
2021年9月1日
delta源码阅读
摘要： 阅读思路： 1、源码编译 2、功能如何使用 3、实现原理 4、源码阅读（通读+记录+分析） 源码结构 源码分析 元数据 位置：org.apache.spark.sql.delta.actions下的actions文件 Protocol: 当对协议进行向后不兼容的更改时，用于阻止旧客户端读取或写入日志 阅读全文
posted @ 2021-09-01 10:47 just-JL 阅读(325) 评论(0) 推荐(0)
2019年7月16日
读《深入理解java虚拟机》小结
摘要： 之所以学习 jvm ，是因为在学习多线程相关知识时，对 volatile 关键字理解的不够透彻，总有种似懂非懂的感觉。于是通过在网上各种资料的查阅，最终将 volatile 和 jvm 联系上了，本身又对jvm充满好奇，因此踏上了 jvm 的学习之旅。 一、一个问题 一个面试官对面试问题的分析 Q： 阅读全文
posted @ 2019-07-16 16:04 just-JL 阅读(104) 评论(0) 推荐(0)