Spark-GraphxAPI学习笔记

时间：2021-08-11 22:06:08
  • 图的集合视图
graph包含三个基本的类集合视图：
 val vertices: VertexRDD[VD]

 val edges: EdgeRDD[ED]

 val triplets: RDD[EdgeTriplet[VD, ED]]，即可理解为：RDD(srcId,srcAttr,dstId,dstAttr,attr)
在对graph的某个视图作map/filter操作时，可以使用case表达式来匹配对应的元素，如：graph.edges.filter { case Edge(src, dst, prop) => src > dst }.count
  • 图信息接口
  val numEdges: Long

  val numVertices: Long

  val inDegrees: VertexRDD[Int]

  val outDegrees: VertexRDD[Int]

  val degrees: VertexRDD[Int]
  • 缓存方法
 def persist(newLevel: StorageLevel = StorageLevel.MEMORY_ONLY): Graph[VD, ED]

 def cache(): Graph[VD, ED]

 def unpersistVertices(blocking: Boolean = true): Graph[VD, ED]，当在一个图上频繁修改顶点值而不重用边信息时，可以用此方法对顶点去缓存以提高GC性能
  • 节点与边的变换操作
  def mapVertices[VD2](map: (VertexID, VD) => VD2): Graph[VD2, ED]

  def mapEdges[ED2](map: Edge[ED] => ED2): Graph[VD, ED2]

  def mapEdges[ED2](map: (PartitionID, Iterator[Edge[ED]]) => Iterator[ED2]): Graph[VD, ED2]

  def mapTriplets[ED2](map: EdgeTriplet[VD, ED] => ED2): Graph[VD, ED2]

  def mapTriplets[ED2](map: (PartitionID, Iterator[EdgeTriplet[VD, ED]]) => Iterator[ED2])  : Graph[VD, ED2]
  • 修改图结构操作
  def reverse: Graph[VD, ED]

  def subgraph(

      epred: EdgeTriplet[VD,ED] => Boolean = (x => true),

      vpred: (VertexID, VD) => Boolean = ((v, d) => true)) : Graph[VD, ED]，按条件生成子图

  def mask[VD2, ED2](other: Graph[VD2, ED2]): Graph[VD, ED]，生成的结果图的顶点和边同时存在于原来的两个图中

  def groupEdges(merge: (ED, ED) => ED): Graph[VD, ED]，把重复边进行reduce操作，注意此操作之前，应当在图上调用partitionBy方法
  • 图join操作
  def joinVertices[U](table: RDD[(VertexID, U)])(mapFunc: (VertexID, VD, U) => VD): Graph[VD, ED]
  def outerJoinVertices[U, VD2](other: RDD[(VertexID, U)])

      (mapFunc: (VertexID, VD, Option[U]) => VD2) : Graph[VD2, ED]
注： joinVertices操作实际上是根据给定的另一个图(原图的每个顶点id至多对应此图的的一个顶点id)把原图中的顶点的属性值根据指定的mapFunc函数进行修改，返回一个新图，新图的顶点类型不变，如果图中的某个顶点id在另一个图中不存在，则保留原值
而outerJoinVertices操作和joinVertices类似，只不过，当图中某个顶点id在另一个图中不存在时，则使用None值 
 
  • 在邻边上聚合信息
 def collectNeighborIds(edgeDirection: EdgeDirection): VertexRDD[Array[VertexID]]

 def collectNeighbors(edgeDirection: EdgeDirection): VertexRDD[Array[(VertexID, VD)]]

 def aggregateMessages[Msg: ClassTag](

      sendMsg: EdgeContext[VD, ED, Msg] => Unit,

      mergeMsg: (Msg, Msg) => Msg,

      tripletFields: TripletFields = TripletFields.All)

    : VertexRDD[A]
 注：聚合信息的核心方法是：aggregateMessages，其操作的本质是sendMsg和mergeMsg，具体而言，是依次在图的每条边(edgeTriplets)上根据sendMsg函数的要求，把该边上A端的节点信息发送给B端，如:把src节点信息发到dst节点信息，或者把dst节点信息发送到src节点上，然后在B端调用merge函数将可能收到的多个msg合并成一个msg.
tripletFields字段指定要操作哪些字段，如果仅操作部分字段的话，通过此参数进行限定可提高性能。aggregateMessages方法最终返回一个新的顶点集：VertexRDD，这个新的顶点集中每个vertex节点上包含上聚合后的信息。
collectNeighborIds与collectNeighbors函数就是对aggregateMessages的简单封装以实现聚合相邻节点id和相邻节点的功能
  • VertexRDD与RDD有一个明显的区别是，VertexRDD的key不重复，而RDD的key可以重复
  • aggregateUsingIndex函数的作用类似于reduceByKey，如vertexRdd1.aggregateUsingIndex(rdd2,_+_)，作用是利用vertexRdd1的索引结果对rdd2进行聚合，在rdd2中对vertexRdd1中出现的id对应的属性值做聚合操作，很像reduceByKey，得到的结果是一个VertexRDD，这个结果与vertexRdd1进行join等操作时就会很快，因为他们具有相同的索引结构
  • PageRank算法：

　　graph.pageRank(tolorence,reset)，用于计算类似于网页排名的各种经典问题，tolorence参数用于指定可容忍的收敛度，毕竟无穷迭代下去是耗时也意义不大的，reset参数用于设定终止点和陷阱问题的概率，防止迭代结果倾斜或终止到一个节点的事情发生，所以这个参数不能传0，详情参考：算法解析

  • 　　连通体算法：

　　　　graph.connectedComponents() 返回一个新图，新图的顶点属性被替换成了该顶点所在的连通体的id，这个id是此连通体中所有节点中id最小的那个节点的id

　　　　例如，我要计算一个图中连通图的个数： graph.connectedComponents.vertices.map(e => (e._2, 1L)).reduceByKey(_ + _).sortBy(e => e._2, ascending = false).count

相关文章