fxjwind

摘要： http://www.socc2013.org/home/program http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Hadoop V1.0的问题 Hadoop被发明的时候是用于index海量的web crawls, 所以它很适应那个场景, 但是现在Hadoop被当作一种通用的计算平台, 这个已经... 阅读全文

摘要： Scalable IO in Java http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf 大部分IO都是下面这个步骤, Most have same basic structure: Read request Decode request Process service Encode reply Send reply 关... 阅读全文

摘要： Java是非常繁杂的语言, 比如IO就是典型的代表... Java IO 首先1.0, 是基于8位字节流的InputStream和OutputStream系列 然后是1.1, 是基于16位的字符流(unicode)的Reader和Writer系列 下表是对应关系, 其中InputStreamReader和OutputStreamWriter, 起到两个系列之间的适配作用 当然实际的... 阅读全文

摘要： Collection 首先Java中的collection都是支持泛型和类型安全 由于Java单根继承, 所以不指定, 可以在collection里面放任何对象, collection会都当作object对象, 当然这样处理, 在对象取出时, 需要自己向下转型 ArrayList apples = new ArrayList(); //默认为objectapples.add(new... 阅读全文

摘要： Clojure首先是FP, 但是由于基于JVM, 所以不得已需要做出一些妥协, 包含一些OO的编程方式 Scala首先是OO, Java语法过于冗余, 一种比较平庸的语言, Scala首先做的是简化, 以更为简洁的方式来编写OO, 主要利用‘type inference’能推断出来的, 你就不用写, 但如果仅仅这样, 不如用python 所以Scala象其名字一样, “可伸展的语言”... 阅读全文

摘要： Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters 当前的流处理方案, Yahoo!’s S4, Twitter’s Storm, 都是采用传统的"record at-a-time”处理模式, 当收到一条record, 或者更新状态, 或者产生新... 阅读全文

摘要： http://highlyscalable.wordpress.com/2013/08/20/in-stream-big-data-processing/ Overview In recent years, this idea got a lot of traction and a whole bunch of solutions like Twitter’s Storm, Yahoo’... 阅读全文

摘要： Probabilistic Data Structures for Web Analytics and Data Mining 对于big data经常需要做如下的查询和统计, Cardinality Estimation (基数或势), 集合中不同元素的个数, 比如, 独立访客(Unique Vi 阅读全文

摘要： 从FP的角度, Clojure中变量是不可变的, 改变一个变量实际是创建一个新的变量 所以所有的change都需要通过参数的不断传递... 如下面的例子, => (defrecord Employee [name room])backtype.storm.util.Employee=> (def emp (Employee. "John Smith" 304))#'backtype.s... 阅读全文

摘要： 访问者模式 访问者模式(Visitor), 表示一个作用于某对象结构中的各元素的操作。它使你可以在不改变各元素的类的前提下定义作用于这些元素的新操作。 这个模式相对比较复杂, 而又很少能被用上, 拿GOF作者的话'大多数时候你并不需要访问者模式, 但当你一旦需要它, 那就是真正的需要' 访问者模式的本质就是解数据结构和结构上的操作之间的耦合, 使操作集合可以自由的演化. 看上去很美... 阅读全文