摘要： Intro 想象这样的应用场景：给定一些点，随着程序输入，不断地添加点之间的连通关系(边)，整个图的连通关系也在变化。这时候我们如何维护整个图的连通性(即判断任意两个点之间的连通性)呢？ 一个比较简单的solution是每个点都有一个便签，标记它属于哪个连通子图。这种做法就有一个很明显的问题 -- 阅读全文

摘要： Intro 这篇是对一个Spark (Streaming)作业的log进行分析。用来加深对Spark application运行过程，优化空间的各种理解。 Here to Start 从我这个初学者写得一个Spark Streaming程序开始... package com.wttttt.spark 阅读全文

摘要： 写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向 阅读全文