摘要: 1.分布式流处理的基本模型 逻辑模型: 一个source 一个operation 一个sink 物理模型: 多个source对应多个operation一个sink 不同节点直接的数据传输需要接触到网络 2.流的基本操作 单条流的操作: map 两条流的操作: connect:connectedstr 阅读全文
posted @ 2020-06-03 21:02 小矮子的小胖子 阅读(300) 评论(0) 推荐(0) 编辑
摘要: flink入门 1.有状态流式处理引擎的基石 流式处理:每条流数据都经过你编写的代码进行处理 分散式流式处理:保证流式数据相同的key到同一个计算实例上 有状态分散式流式处理:状态会跟着流数据把相同的key分到同一个计算实例上,并且会对状态进行叠加, 当key非常多的时候,状态可能会非常大,所以需要 阅读全文
posted @ 2020-06-03 10:04 小矮子的小胖子 阅读(300) 评论(0) 推荐(0) 编辑