摘要: 我们知道storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情况,使用kafka作为消息队 阅读全文
posted @ 2016-03-18 17:24 小得盈满 阅读(30322) 评论(4) 推荐(3) 编辑
摘要: 之前基于集群和单机安装过kafka,现在利用kafka提供的API构建一个简单的生产者消费者的项目示例,来跑通kafka的流程,具体过程如下: 首先使用eclipse for javaee建立一个maven项目,然后在pom.xml添加如下依赖配置: 这里kafka版本是kafka_2.9.2-0. 阅读全文
posted @ 2016-03-18 10:41 小得盈满 阅读(4933) 评论(0) 推荐(1) 编辑