摘要： 这个虚类是kafka.network.Acceptor和kafka.network.Processor的父类，提供了一个抽象的Sever线程。它的有趣之处在于为子类的启动和停止提供了线程间的协作机制。当子类的shutdown方法被调用时，子类可以得知自己被停止，在子类做了适当的处理和清理后，调用自己... 阅读全文

摘要： 参考自Java NIO系列教程（六） SelectorJava-NIO-Selectorjava.nio.channels.SelectorNIO新功能Top 10（下）出发点：如何管理多个连接?所有连接注册到一个管理组件，当它们的状态改变（比如有数据可读、可写），就向这个管理组件发出信息。即，这个... 阅读全文

摘要： 这个类实现了一些工具性质的方法，正如其名。记下自己觉得有意思的方法：readFileAsString(path: String, charset: Charset = Charset.defaultCharset()): String /** * Attempt to read a file ... 阅读全文

摘要： 这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown handler to catch control-c Runtime.getRuntime().addShutdownHook(... 阅读全文

摘要： （大部分为翻译）Concurrency vs. Parallelism 并发 vs 并行并发并不一定同时运行，比如使用时间片，使得两个任务交替执行。而并行是执两个任务真正的同时执行。Asynchronous vs. Synchronous 同步 vs 异步 如果一个方法被调用后，调用者只能等到此方... 阅读全文

摘要： 首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass ClientHelper(conf: Configuration) extends Logging { val yarnClient = YarnClient.createYa... 阅读全文

摘要： 运行脚本，提交job往YARN提交Samza job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh --config-factory=samza.config.factories.PropertiesConfigFactory --conf... 阅读全文

摘要： 参考这个里边对API的调用http://samza.incubator.apache.org/learn/documentation/0.7.0/container/metrics.html参考这里列出的可用配置http://samza.incubator.apache.org/learn/docu... 阅读全文

摘要： Samza的task可以把数据进行本地存储，并且对这些数据进行丰富的查询。比较SQL中的select ... where...并不需要保存状态。但是aggregation和join就需要存储row之间的状态。Samza提供了一些基本功能，能够使得streaming join和aggregation以... 阅读全文

摘要： 当Samza ApplicationMaster启动时，它做以下的事情：通过STREAMING_CONFIG环境变量从YARN获取配置信息(configuration)在随机端口上 启动一个JMX server实例化一个metrics registry和reporter来追踪计量信息将AM向YARN... 阅读全文