摘要: 1.Spark Graph简介 GraphX 是 Spark 一个组件,专门用来表示图以及进行图的并行计算。GraphX 通过重新定义了图的抽象概念来拓展了 RDD: 定向多图,其属性附加到每个顶点和边。为了支持图计算, GraphX 公开了一系列基本运算符(比如:mapVertices、mapEd 阅读全文
posted @ 2021-02-08 16:47 Hoult丶吴邪 阅读(586) 评论(0) 推荐(0) 编辑
摘要: 1.Spark Streaming简介 Spark Streaming从各种输入源中读取数据,并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。在每个时间区间开始的时候,一个新的批次就创建出来,在该区间内收到的数据都会被添加到这个批次中。在时间区间结束时,批次停止增长,时间区间的大小是由批次 阅读全文
posted @ 2021-02-08 12:14 Hoult丶吴邪 阅读(1274) 评论(0) 推荐(0) 编辑