摘要: 表达式全集 常用正则表达式 阅读全文
posted @ 2019-05-21 20:56 消失的白桦林 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 1 分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。 此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvi 阅读全文
posted @ 2019-05-21 20:09 消失的白桦林 阅读(2888) 评论(0) 推荐(0) 编辑
摘要: Broadcast 广播变量:可以理解为是一个公共的共享变量,我们可以把一个dataset 或者不变的缓存对象(例如map list集合对象等)数据集广播出去,然后不同的任务在节点上都能够获取到,并在每个节点上只会存在一份,而不是在每个并发线程中存在。如果不使用broadcast,则在每个节点中的每 阅读全文
posted @ 2019-05-21 19:04 消失的白桦林 阅读(9445) 评论(0) 推荐(0) 编辑