FLINK --- 写HDFS

HADOOP都是使用StreamingFileSink,那么有什么区别?:

区别主要在写文件策略:

2.6及以前: OnCheckpointRollingPolicy

2.7:         OnCheckpointRollingPolicy和 DefaultRollingPolicy

为什么2.7以前的版本不支持使用DefaultRollingPolicy?

OnCheckpointRollingPolicy:更新checkpoints时,新写文件

DefaultRollingPolicy:可设置写出策略:多长时间,多大内容,多长是时间间隔等!

 

 重点:  当设置的策略跨越检查点时,需要中断文件;但是2.6是不支持中断的。

 

posted on 2021-09-30 11:58  爱老虎哟  阅读(292)  评论(0编辑  收藏  举报

导航