Map/Reduce Spark Storm
分布式计算框架
大数据开源技术分类
摘要：hadoop 分布式处理大数据的框架 分为三个阶段： 1）data -db -user/app 2）data - 存储hdfs - 处理mapreduce - user/apps 大数据开源技术分类 3）DATA - 数据传输/采集 - 数据处理 - 数据存储 - 数据查询 - users/apps
阅读全文
posted @
2018-09-16 13:07
tigerloveapple
阅读(834)
推荐(0) 编辑
Spark_总结五
摘要：1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStreaming微批处理，每次处理的都是一批非常小的数据Storm支持动态调整并行度（动态的资源分配），SparkStreaming(粗粒度， 比较消耗资源) Storm 纯实时的
阅读全文
posted @
2017-09-01 13:32
tigerloveapple
阅读(718)
推荐(0) 编辑
科普Spark，Spark是什么，如何使用Spark
摘要：科普Spark，Spark是什么，如何使用Spark 1.Spark基于什么算法的分布式计算（很简单） 2.Spark与MapReduce不同在什么地方 3.Spark为什么比Hadoop灵活 4.Spark局限是什么 5.什么情况下适合使用Spark 什么是Spark Spark是UC Berke
阅读全文
posted @
2017-09-01 13:26
tigerloveapple
阅读(6507)
推荐(0) 编辑
