打赏

Beam概念学习系列之PCollection数据集

 

 

  不多说,直接上干货!

 

 

 

PCollection数据集

      PCollection是Apache Beam中数据的不可变集合可以是有限的数据集合也可以是无限的数据集合

  有限数据集,这种一般对应的是批处理,无限数据集数据持续不断的产生,只要系统不停止数据就持续产生下去,无法知道数据在什么时候结束,对应的是流处理。PCollection是将两种数据集统一的一种数据表达方式,PCollection还是一种分布式的数据集,其中的P表示数据集可以被并行处理。

 

 

      在Apache Beam中PCollection的特点:

  1. 不可变性:PCollection不能被修改
  2. 不可随机读取:PCollection只能顺序读取,且只能读取1次。
  3. 时间戳:PCollection的数据,每一条都带有时间。
posted @ 2017-09-29 09:09  大数据和AI躺过的坑  阅读(853)  评论(0编辑  收藏  举报