该文被密码保护。 阅读全文
摘要：
Apache Flink 1.12.0 正式发布 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flink 1.12.0 的开发，提交了超过 1000 多个修复或优化。这些修改极大地提高了 Flink 的可用性，并且简化（且统一）了 阅读全文
摘要：
ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL 会花掉整个 阅读全文
摘要：
引言 JAVA 语言为我们提供了两种基础线程池的选择： ThreadPoolExecutor ScheduledThreadPoolExecutor 它们都实现了 ExecutorService 接口 注意，ExecutorService接口本身和“线程池”并没有直接关系，它的定义更接近“执行器”， 阅读全文
摘要：
引言 我们之前使用线程的时候都是使用 new Thread 来进行线程的创建，但是这样会有一些问题 每次 new Thread 新建对象性能差 线程缺乏统一管理，可能无限制新建线程，相互之间竞争，及可能占用过多系统资源导致死机 缺乏更多功能，如定时执行、定期执行、线程中断。 相比 new Threa 阅读全文
摘要：
引言 Java 8 中引入了两个与日期相关的新类： Period ：基于日期值 Duration：基于时间值 它们最大的作用就不需要你自己复杂的计算关于两个年月日之间的相差的时间或日期啦. Period 类与 Duration 类都是一段持续时间的概念,如果需要对比时间，它们就需要一个固定的时间值, 阅读全文
摘要：
引言 序列化和反序列化几乎是工程师们每天都要面对的事情，但是要精确掌握这两个概念并不容易：一方面，它们往往作为框架的一部分出现而湮没在框架之中；另一方面，它们会以其他更容易理解的概念出现，例如加密、持久化。然而，序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更 阅读全文
摘要：
引言 Apache Spark 2.2 以及以上版本提供的三种 API - RDD、DataFrame 和 Dataset，它们都可以实现很多相同的数据处理，它们之间的性能差异如何，在什么情况下该选用哪一种呢？ RDD 从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说， 阅读全文
摘要：
4 种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 xlist,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, xlist等价于list.::(x)) :+ 阅读全文
摘要：
Spark 选择 Scala 作为开发语言 在 Spark 诞生之初，就有人诟病为什么 AMP 实验室选了一个如此小众的语言 - Scala，很多人还将原因归结为学院派的高冷，但后来事实证明，选择 Scala 是非常正确的，Scala 很多特性与 Spark 本身理念非常契合，可以说它们是天生一对。 阅读全文