05 2014 档案
摘要:这个虚类是kafka.network.Acceptor和kafka.network.Processor的父类,提供了一个抽象的Sever线程。它的有趣之处在于为子类的启动和停止提供了线程间的协作机制。当子类的shutdown方法被调用时,子类可以得知自己被停止,在子类做了适当的处理和清理后,调用自己...
阅读全文
摘要:参考自Java NIO系列教程(六) SelectorJava-NIO-Selectorjava.nio.channels.SelectorNIO新功能Top 10(下)出发点:如何管理多个连接?所有连接注册到一个管理组件,当它们的状态改变(比如有数据可读、可写),就向这个管理组件发出信息。即,这个...
阅读全文
摘要:这个类实现了一些工具性质的方法,正如其名。记下自己觉得有意思的方法:readFileAsString(path: String, charset: Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
阅读全文
摘要:这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown handler to catch control-c Runtime.getRuntime().addShutdownHook(...
阅读全文
摘要:(大部分为翻译)Concurrency vs. Parallelism 并发 vs 并行并发并不一定同时运行,比如使用时间片,使得两个任务交替执行。而并行是执两个任务真正的同时执行。Asynchronous vs. Synchronous 同步 vs 异步 如果一个方法被调用后,调用者只能等到此方...
阅读全文
摘要:首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass ClientHelper(conf: Configuration) extends Logging { val yarnClient = YarnClient.createYa...
阅读全文
摘要:运行脚本,提交job往YARN提交Samza job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh --config-factory=samza.config.factories.PropertiesConfigFactory --conf...
阅读全文