摘要：
1、水位线生成原则 完美的水位线是“绝对正确”的，也就是一个水位线一旦出现，就表示这个时间之前的数据已经全部到齐、之后再也不会出现了。而完美的东西总是可望不可即，我们只能尽量去保证水位线的正确。如果对结果正确性要求很高、想要让窗口收集到所有数据，那么只能等了。由于网络传输的延迟不确定，为了获取所有迟 阅读全文
摘要：
1、aggregate 首先看下 aggregate 函数签名 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U 说明 参数zeroValue：seqOp运算符的每个分区的累积结果 阅读全文
摘要：
对于数据处理系统的架构，最简单的方式就是单节点。当数据量增大，计算逻辑更加复杂多变时，可以考虑增加CPU、加大内存，也就是让一台机器变得性能更加强大从而提高计算性能——这是所谓的对称多处理架构（SMP），但是SMP存在问题很明显：所有CPU 完全平等，所有内存、总线资源共享，这就势必造成资源竞争；而 阅读全文
摘要：
虽然flink 本身支持Standalone模式，无需其他框架也可以运行，但是这种方式降低了和其他第三方资源调度框架的耦合性，独立性很强。但是Flink是大数据计算框架，资源调度并非其强项；所以大多数时候需要让专业的框架做资源调度，比如说Yarn和K8s,这里我们就以Yarn 模式来演示Flink是 阅读全文
摘要：
1、部署模式 flink 支持3种部署模式： 会话模式（Session Mode） 单作业模式（Per-Job Mode） 应用模式（Application Mode） 三种模式区别在于：集群的生命周期&资源的分配方式，以及作业的main方法在客户端（Client）还是JobManager执行 1. 阅读全文
摘要：
1、环境说明 系统环境：centos6.8 Java版本：jdk1.8 hadoop版本：hadoop2.7.2 flink版本：flink-1.13.0-bin-scala_2.12.tgz 本次以独立部署模式演示flink提交作业的2种方式 2、环境准备 安装 [hui@hadoop103 so 阅读全文
摘要：
环境说明 这段时间在梳理 flink,今天刚好测试之前的一个应用：在web ui 上提交任务报错了： 如图：这里指定了运行的主程序类名和并行度，然后点击submit 时，出错了 单纯从页面报错信息无法准确定位错误原因，此时可以通过 日志文件查看错误原因‘ [hui@hadoop103 ~]$ cd 阅读全文
摘要：
1、文件读取与保存 1.1、Text 文件 1）数据读取：textFile(String) 2）数据保存：saveAsTextFile(String) def main(args: Array[String]): Unit = { //1.创建SparkConf并设置App名称 val conf: 阅读全文
摘要：
1、分区介绍 Spark目前支持Hash分区和Range分区，和用户自定义分区。Hash分区为当前的默认分区。分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区和Reduce的个数。说明：只有Key-Value类型的RDD才有分区器，非Key-Value类型的RDD 阅读全文