Spark GraphX初探
1. Graphx概念
针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。
Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD，而简化数据移动或复杂操作。
2. 属性图
属性图为有向多重图，带有链接到每个顶点和边的用户定义的对象。有向多重图多个并行的边共享相同源和目的地顶点。每个顶点由一个唯一的64位长的标识符(VertexId)作为key，顶点拥有相同的源和目的顶点标识符。
属性图通过vertex(VD)和edge(ED)类型参数化，分别与每个顶点和边相关联的对象的类型。某些情况下，相同图形中希望顶点拥有不同属性类型，可通过继承实现。
class VertexProperty() case class UserProperty(val name: String) extends VertexProperty case class ProductProperty(val name: String, val price: Double) extends VertexProperty var grapg: Graph[VertexProperty, String] = null
与RDD类似，属性图是不可变、分布式、容错的。图中的值或结构变化需要生成新的图实现。注意：原始图中的大部分可以在新图中重用，以减少固有功能数据结构成本。
逻辑上，属性图对应一对类型化的集合RDD，包含了每一个顶点和边属性。
class Graph[VD, ED]{ val vertices: VertexRDD[VD] val edges: EdgeRDD[ED] }
VertexRDD[VD]和EdgeRDD[ED]分别继承于RDD[(VertexID, VD)]和RDD[Edge[ED]]。
Graph也包含一个三元组视图，三元组视图逻辑上将顶点和边的属性保存为一个RDD[EdgeTriplet[VD, ED]]，EdgeTriplet可通过下图理解。
EdgeTriplet继承于Edge类，并加入srcAttr和dstAttr成员，分别包含源和目标的属性。
例：
import org.apache.spark.graphx.{Edge, Graph, VertexId} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} class GraphTest1 { def main(args: Array[String]): Unit = { val sc = new SparkContext(new SparkConf().setAppName("GraphTest1")) // 创建顶点信息 val users: RDD[(VertexId, (String, String))] = sc.parallelize( Array((3L, ("rxin", "student")), (7L, ("jgonzal", "postdoc")), (5L, ("franklin", "prof")), (2L, ("istoica", "prof"))) ) // 创建图的Edge类，Edge类具有srcId和dstId分别对应与源和目标点的标识符，次明早attr成员存储边属性 val relationships: RDD[Edge[String]] = sc.parallelize( Array(Edge(3L, 7L, "collab"), Edge(5L, 3L, "advisor"), Edge(2L, 5L, "colleague"), Edge(5L, 7L, "pi")) ) // 定义一个默认用户 val defaultUser = ("John Doe", "Missing") // 基于Graph对象构造初始化图 val graph = Graph(users, relationships, defaultUser) // 统计用户为postdoc的总数 // graph.vertices返回VertexRDD[(String, String)]，继承于RDD[(VertexID, (String, String))] graph.vertices.filter{case (id, (name, pos)) => pos == "postdoc"}.count // 统计src > dst的边总数 // graph.edges返回Edge[String]对象的EdgeRDD // graph.edges.filter(e => e.srcId > e.dstId).count graph.edges.filter{case Edge(srcId, dstId, attr) => srcId > dstId}.count() // graph.triplets包含的属性有Array(((3,(rxin,student)),(7,(jgonzal,postdoc)),collab)) val facts = graph.triplets.map(triplet => triplet.srcAttr._1 + " is the " + triplet.attr + triplet.dstAttr._1 ) facts.collect().foreach(println) sc.stop() } }
3. 图操作符
(1) 属性操作
属性图包含操作如下，每个操作都产生一个新图，包含用户自定义map操作修改后的顶点或边的属性。
a. mapVertices[VD2: ClassTag](map: (VertexId, VD) => VD2): Graph[VD2, ED]
b. mapEdges[ED2: ClassTag](map: Edge[ED] => ED2): Graph[VD, ED2]
c. mapTriplets[ED2: ClassTag](map: EdgeTriplet[VD, ED] => ED2): Graph[VD, ED2]
注意：每种情况下图结构均不受影响，如上操作的一个重要特征是允许所得图形重用原有图形的结构索引ndices。
例：
import org.apache.spark.graphx.{Edge, Graph, VertexId, GraphOps} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} class GraphTest1 { def main(args: Array[String]): Unit = { val sc = new SparkContext(new SparkConf().setAppName("GraphTest1")) // 创建顶点信息 val users: RDD[(VertexId, (String, String))] = sc.parallelize( Array((3L, ("rxin", "student")), (7L, ("jgonzal", "postdoc")), (5L, ("franklin", "prof")), (2L, ("istoica", "prof"))) ) // 创建图的Edge类，Edge类具有srcId和dstId分别对应与源和目标点的标识符，次明早attr成员存储边属性 val relationships: RDD[Edge[String]] = sc.parallelize( Array(Edge(3L, 7L, "collab"), Edge(5L, 3L, "advisor"), Edge(2L, 5L, "colleague"), Edge(5L, 7L, "pi")) ) // 定义一个默认用户 val defaultUser = ("John Doe", "Missing") // 基于Graph对象构造初始化图 val graph = Graph(users, relationships, defaultUser) // 统计用户为postdoc的总数 // graph.vertices返回VertexRDD[(String, String)]，继承于RDD[(VertexID, (String, String))] graph.vertices.filter{case (id, (name, pos)) => pos == "postdoc"}.count // 统计src > dst的边总数 // graph.edges返回Edge[String]对象的EdgeRDD // graph.edges.filter(e => e.srcId > e.dstId).count graph.edges.filter{case Edge(srcId, dstId, attr) => srcId > dstId}.count() // graph.triplets包含的属性有Array(((3,(rxin,student)),(7,(jgonzal,postdoc)),collab)) val facts = graph.triplets.map(triplet => triplet.srcAttr._1 + " is the " + triplet.attr + triplet.dstAttr._1 ) facts.collect().foreach(println) // 指定新图，顶点属性为出度 val inputGraph: Graph[Int, String] = graph.outerJoinVertices(graph.outDegrees)((vid, _, degOpt) => degOpt.getOrElse(0)) // Construct a graph where each edge contains the weight and each vertex is the initial PageRank val outputGraph:Graph[Double, Double] = inputGraph.mapTriplets(triplet => 1.0 / triplet.srcAttr).mapVertices((_id, _) => 1.0) sc.stop() } }
(2) 结构性操作
图中基本的结构性操作包含：
a. reverse: Graph[VD, ED]：返回新图，图的边的方向都是反转，可用于计算反转的PageRank
b. subgraph(epred: EdgeTriplet[VD,ED] => Boolean, vpred: (VertexId, VD) => Boolean): Graph[VD, ED]：利用顶点和边的predicates，返回的图仅仅包含满足顶点predicates的顶点，满足边predicates的边以及满足顶点predicates的连接顶点(connect vertices)。应用场景：
获取感兴趣的 顶点和边组成的图或者清除断开链接后的图。
例：
val validGraph = graph.subgraph(vpred = (id, attr) => !attr._2.equals("Missing"))
validGraph.vertices.collect.foreach(println)
validGraph.triplets.map(triplet => triplet.srcAttr._1 + " is the " + triplet.attr + " of "+triplet.dstAttr._1).collect
c. mask[VD2, ED2](other: Graph[VD2, ED2]): Graph[VD, ED]：构建子图，包含输入图中的顶点和边。可与subgraph结合，基于另一个相关图的特征去约束一个图。
例：利用缺失顶点的图运行连通体，返回有效子图
val ccGraph = graph.connectedComponents() // No longer contains missing field val validCCGraph = ccGraph.mask(validGraph) // Restrict the answer to the valid subgraph
d. groupEdges(merge: (ED, ED) => ED): Graph[VD,ED]：合并图中的并行边(如顶点对之间重复的边)，降低图的大小
(3) 连接操作
用于将外部数据加入到图中。
a. joinVertices[U: ClassTag](table: RDD[(VertexId, U)])(mapFunc: (VertexId, VD, U) => VD): Graph[VD, ED]：将输入RDD和顶点相结合，返回一个新的带有顶点特征的图。
注意：对于给定顶点，RDD中有超过1个匹配值时，则仅使用其中一个。建议使用如下方法，保证RDD的唯一性。
val nonUniqueCosts: RDD[(VertexId, Double)] val uniqueCosts: VertexRDD[Double] = graph.vertices.aggregateUsingIndex(nonUniqueCosts, (a, b) => a + b) val joinedGraph = graph.joinVertices(uniqueCosts)((id, oldCost, extraCost) => oldCost + extraCost)
b. outerJoinVertices(mapFunc: (VertexId, VD, Option[U]) => VD2): Graph[VD2, ED]：与joinVertices类似，因为不是所有顶点在RDD中拥有匹配的值，map函数需要一个Option类型
