摘要: spark 生态及运行原理 Spark 特点 运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘读取,速度是Hadoop MapReduce的10倍以上,如果数据从内存中读取,速度可以高达100多倍。 适用场景广泛 => 大数据分析统计 阅读全文
posted @ 2018-07-31 14:09 打翻了牛顿吃饭的碗 阅读(901) 评论(0) 推荐(0) 编辑
摘要: 1.概述 最近有同学问道,除了使用 Storm 充当实时计算的模型外,还有木有其他的方式来实现实时计算的业务。了解到,在使用 Storm 时,需要编写基于编程语言的代码。比如,要实现一个流水指标的统计,需要去编写相应的业务代码,能不能有一种简便的方式来实现这一需求。在解答了该同学的疑惑后,整理了该实 阅读全文
posted @ 2018-07-31 14:03 打翻了牛顿吃饭的碗 阅读(319) 评论(0) 推荐(0) 编辑