摘要:
Kafka 0.9+增加了一个新的特性Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过connectors 可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka Co 阅读全文
摘要:
Kafka Streams直接解决了在流处理中会遇到的很多难题: 一次一件事件的处理(而不是microbatch),延迟在毫秒 有状态的处理,包括分布式join和aggregation 一个方便的DSL 使用类似于DataFlow的模型来处理乱序数据的windowing问题 分布式处理,并且有容错机 阅读全文
摘要:
直接自开放原始码专案中抽取,提炼出自己所需的程序码。 阅读源码的重点:有效率的通过探索阅读,有层次的了解架构。探索架构的第一件事,找到系统如何初始化。目标是要界定其中的角色,以及角色间的动静态关系。 熟悉程序语法。 找到程序入口。 望文生义。 适度忽略不需了解的细节。 阅读源码的兴趣,通过程序了解作 阅读全文
摘要:
所有用Maven管理的真实的项目都应该是分模块的,每个模块都对应着一个pom.xml。它们之间通过继承和聚合 maven target目录,表示打包输出目录 maven classes目录,编译输出目录 maven /src/main/resources目录,项目资源目录 maven src/mai 阅读全文