摘要： http://samza.incubator.apache.org/learn/documentation/0.7.0/comparisons/introduction.html这里有一些使得Samza和其它流处理项目不同的高层设计决策。The Stream Model 流模型流是Samza job... 阅读全文

摘要： http://samza.incubator.apache.org/learn/documentation/0.7.0/introduction/architecture.htmlSamza由三层组成：A streaming layer 消息流层An execution layer 执行层A pro... 阅读全文

摘要： 此页介绍啊Samza的一些高层级概念。StreamsSamza处理Streams(流)。流由同一类型的不可变的消息组成。例如，一个流可以是对一个网站的所有点击，或者对一个数据库表的所有更新，或者一个服务产生的所有日志，或者其它类型的消息数据。消息可以被追加到一个流上或者从一个流读出来。一个流可以有任... 阅读全文

摘要： 这一页提供了关于流处理的背景知识，描述什么是Samza，以及它为何而生。what is messaging?什么叫消息？消息系统是用来实现近实时异步计算的一种流行方式。当事件发生时，消息可以被放在消息队列里（ActiveMQ, RabbitMQ），发布-订阅系统(Kestrel, Kafka)里，或... 阅读全文

摘要： 上次留下来的问题如果消息是发给很多不同的topic的， async producer如何在按batch发送的同时区分topic的它是如何用key来做partition的？是如何实现对消息成批量的压缩的？async producer如何在按batch发送的同时区分topic的 这个问题的答案是： D... 阅读全文

摘要： 问题很多条消息是怎么打包在一起的？如果消息是发给很多不同的topic的， async producer如何在按batch发送的同时区分topic的它是如何用key来做partition的？是如何实现对消息成批量的压缩的？async producer是将producer.type设为async时启用的... 阅读全文

摘要： 啊，AvroSink要复杂好多：《好吧，先确定主要问题：AvroSink为啥这么多代码？有必要吗？它都有哪些逻辑需要实现？ 你看，avro-rpc-quickstart里是这么建client，然后进行RPC的 NettyTransceiver client = new Netty... 阅读全文

摘要： 问题 ： Avro Source提供了怎么样RPC服务，是怎么提供的？问题 1.1 Flume Source是如何启动一个Netty Server来提供RPC服务。由GitHub上avro-rpc-quickstart知道可以通过下面这种方式启动一个NettyServer，来提供特定的RPC。那么F... 阅读全文

摘要： 摘自http://avro.apache.org/docs/current/spec.html#Protocol+Declaration，1.7.6版Protocol DeclarationAvro protocols describe RPC interfaces. Like schemas, they are defined with JSON text.A protocol is a JSON object with the following attributes:protocol, a string, the name of the protocol (required);names 阅读全文

摘要： 叫动态代理就代表着有“静态代理”这回事。 而且，通常“动态”至少听着更NB一点。关键就在于不明白啥叫“动”，这个得跟“静”比较下。在我的理解，静态代理得自己声明一个类，实现跟被代理对象同样的接口。就是说自己得在编译之前写一个类的定义，由于是写好的，就可以称为“静”了。动态代理呢，Proxy.newProxyInstance(ClassLoaderloader,Class[]interfaces,InvocationHandlerh) 就搞到了一个实现了指定接口的对象， 并没有在编译之前写好代理类， 于是就成了“动态”了。 阅读全文