摘要: spark总结 1.Spark的特点: 高可伸缩性 高容错 基于内存计算 支持多种语言:java,scala,python,R 高质量的算法,比MapReduce快100倍 多种调度引擎:可以运行于YARN,Mesos,standalone 等。 2.spark的提供的功能 以及应用场景 | spa 阅读全文
posted @ 2018-04-13 16:03 丹江湖畔养蜂子赵大爹 阅读(798) 评论(0) 推荐(0) 编辑
摘要: kafka各个版本特点介绍和总结 1.1 kafka的功能特点: 分布式消息队列 线性扩展,高可用 以高容错的方式存储海量数据流。 高吞吐量:生成和消费速度非常快 1.2 kafka的使用场景: kafka的使用场景,即kafka的用途。 数据总线(数据管道) Kafka主要用途是数据集成,或者说是 阅读全文
posted @ 2018-04-13 15:58 丹江湖畔养蜂子赵大爹 阅读(1281) 评论(0) 推荐(0) 编辑