摘要: 第七章 EventTime 与 Window 7.1 EventTime 的引入 在 Flink 的 流 式 处 理中 , 绝 大 部 分 的 业务都 会 使 用 eventTime,一般只在 eventTime 无法使用时,才会被迫使用 ProcessingTime 或者 IngestionTim 阅读全文
posted @ 2019-07-13 17:42 LXL_1 阅读(1005) 评论(0) 推荐(1) 编辑
摘要: 6.Time 与 Window 6.1 Time 在 Flink 的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的 日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事 件时间戳。 Inge 阅读全文
posted @ 2019-07-13 17:27 LXL_1 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 报错信息1: 解决方法: 将 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment 改为 import org.apache.flink.streaming.api.scala._ 阅读全文
posted @ 2019-07-13 04:02 LXL_1 阅读(635) 评论(0) 推荐(0) 编辑
摘要: 5.Flink DataStream API 5.1 Flink 运行模型 以上为 Flink 的运行模型,Flink 的程序主要由三部分构成,分别为 Source、 Transformation、Sink。DataSource 主要负责数据的读取,Transformation 主要负责对 属于的转 阅读全文
posted @ 2019-07-13 02:33 LXL_1 阅读(748) 评论(0) 推荐(0) 编辑
摘要: 4.Flink 运行架构 4.1 任务提交流程 Flink 任务提交后,Client 向 HDFS 上传 Flink 的 Jar 包和配置,之后向 Yarn ResourceManager 提交任务,ResourceManager 分配 Container 资源并通知对应的 NodeManager 阅读全文
posted @ 2019-07-13 00:51 LXL_1 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 3.Flink 集群搭建 Flink 可以选择的部署方式有: Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 3.1Standalone 阅读全文
posted @ 2019-07-13 00:26 LXL_1 阅读(749) 评论(0) 推荐(0) 编辑