心有多大,世界就有多大

2020年1月7日

Spark(一): 基本架构及原理

摘要: Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据... 阅读全文

posted @ 2020-01-07 20:13 心有多大,世界就有多大 阅读(303) 评论(0) 推荐(0) 编辑

流式处理框架对比

摘要: 本文转载地址:https://www.cnblogs.com/tgzhu/p/7119477.html    分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程,与MapReduce一样是一种通用计算框架,期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG 阅读全文

posted @ 2020-01-07 19:31 心有多大,世界就有多大 阅读(613) 评论(0) 推荐(0) 编辑

导航