摘要: checkpoint介绍 checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport 阅读全文
posted @ 2018-05-22 20:24 niutao 阅读(469) 评论(0) 推荐(0) 编辑
摘要: 基于mysql的source操作 基于mysql的sink操作 阅读全文
posted @ 2018-05-22 20:18 niutao 阅读(836) 评论(0) 推荐(1) 编辑
摘要: package com.flink.DataStream import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, StreamExecution... 阅读全文
posted @ 2018-05-22 20:17 niutao 阅读(4069) 评论(1) 推荐(0) 编辑
摘要: flink在流处理上的source和在批处理上的source基本一致。大致有4大类 1.基于本地集合的source(Collection-based-source) 2.基于文件的source(File-based-source) 3.基于网络套接字的source(Socket-based-sour 阅读全文
posted @ 2018-05-22 20:16 niutao 阅读(12579) 评论(1) 推荐(2) 编辑
摘要: Split就是将一个DataStream分成两个或者多个DataStream Select就是获取分流后对应的数据 阅读全文
posted @ 2018-05-22 20:13 niutao 阅读(324) 评论(0) 推荐(0) 编辑