摘要:
此文选自Google大神Tyler Akidau的另一篇文章:Streaming 102: The world beyond batch 欢迎回来!如果您错过了我以前的帖子,Streaming-大数据的未来,强烈建议您先花时间阅读那篇文章。 简要回顾一下,上一篇我们介绍了Streaming, 阅读全文
摘要:
分享一篇关于实时流式计算的经典文章,这篇文章名为Streaming 101: The world beyond batch 那么流计算如何超越批处理呢? 从这几个方面说明:实时流计算系统,数据处理模式,还有大数据的未来。 一、实时流式计算系统 实时流式计算的意义: 1、企业渴望获得更及时的数据,实时 阅读全文
摘要:
使用kafka客户端的时候,一定要注意版本的问题,不然可能会各种报错。 kafka0.9版本以后用java重新编写了producer,废除了原来scala编写的版本。 这里直接使用最新2.3版本,0.9以后的版本都适用。 注意引用的包为:org.apache.kafka.clients.produc 阅读全文
摘要:
Kafka旧版本producer由scala编写,0.9以后已经废除,但是很多公司还在使用0.9以前的版本,所以总结如下: 要注意包Producer是 kafka.javaapi.producer.Producer 这个才是java api使用的包 示例代码如下: import kafka.prod 阅读全文
摘要:
通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。 一、旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer。 入口类:kaf 阅读全文
摘要:
请使用0.9以后的版本: 示例代码 Properties props = new Properties(); props.put("bootstrap.servers", "kafka01:9092,kafka02:9092"); props.put("group.id", "test"); pro 阅读全文
摘要:
通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署,使用,但他和其他的消息中间件有什么不同呢? Kafka的基本原理,术语,版本等等都是怎么样的?到底什么是Kafka呢? 一、Kafka简介 htt 阅读全文
摘要:
实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢? 谷歌大神Tyler Akidau在《the-world 阅读全文
摘要:
通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。 一、旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer。 入口类:kaf 阅读全文
摘要:
了解了什么是kafka( https://www.cnblogs.com/tree1123/p/11226880.html)以后 学习Kafka核心之消费者,kafka的消费者经过几次版本变化,特别容易混乱,所以一定要搞清楚是哪个版本再研究。 一、旧版本consumer 只有旧版本(0.9以前)才有 阅读全文