2021年2月26日

摘要: 【翻译来源-Application Development DataStream API】 Flink中的DataStream程序是常规程序,可对数据流实现transformations(例如,过滤,更新状态,定义窗口,聚合)。最初从各种sources(例如,消息队列,套接字流,文件)创建数据流。结 阅读全文
posted @ 2021-02-26 17:27 千里小马 阅读(127) 评论(0) 推荐(0) 编辑

2021年2月24日

摘要: 【翻译来源Flink官方】 有状态流处理 什么是状态 虽然数据流中的许多操作符一次仅查看一个事件(例如一个事件解析器),但某些操作符会记住多个事件的信息(例如窗口操作符)。这些操作符称为有状态的操作符。 状态是数据结构,存储与状态后端。 通过记忆的方式来实现容错功能,具体包括检查点和保存点。还支持F 阅读全文
posted @ 2021-02-24 19:43 千里小马 阅读(243) 评论(0) 推荐(0) 编辑

2021年2月20日

摘要: HDFS是Hadoop应用程序使用的主要分布式存储。全称是Hadoop Distributed File System。 带着问题学习 问题 1、主从同步 主从同步的方式是什么? 文件的一致性状态如何控制? 2、文件系统 可以修改文件吗?修改的方式是什么 3、数据分布 数据的分布体现了为数据计算服务 阅读全文
posted @ 2021-02-20 18:05 千里小马 阅读(250) 评论(0) 推荐(0) 编辑

导航