摘要: Kafka的特性 Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性,但是在设计实现上完全不同 kafka基本原理: 生产者将数据生产出来,交给 broker 进行存储,消费者需要消费数据了,就从broker中去拿出数据来,然后完成一系列对数据的处理操作。 多个 bro 阅读全文
posted @ 2018-11-29 23:44 dummyly 阅读(214) 评论(0) 推荐(0) 编辑
摘要: RDD:弹性分布式数据集, 是分布式内存的一个抽象概念 RDD:1.一个分区的集合, 2.是计算每个分区的函数 , 3.RDD之间有依赖关系 4.一个对于key-value的RDD的Partitioner 5.一个存储存取每个Partition的优先位置的列表 RDD算子: Transformati 阅读全文
posted @ 2018-11-29 23:07 dummyly 阅读(287) 评论(0) 推荐(0) 编辑