摘要: 什么是Spark Apache Spark是一个开源集群运算框架, 相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduc 阅读全文
posted @ 2018-04-16 22:22 HelloWooo 阅读(599) 评论(0) 推荐(0) 编辑
摘要: 什么是MapReduce MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)” 映射和归纳 1. 映射 一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表)的每一个元素进行指定的操作(比 阅读全文
posted @ 2018-04-16 21:50 HelloWooo 阅读(1124) 评论(0) 推荐(0) 编辑
摘要: Visual Studio Code可以一边写Markdown一边预览了,而且不需要任何插件。 方法如下: 新建一个文件,以 .md 为后缀: Visual Studio Code 原生就支持高亮Markdown的语法,想要一边编辑一遍预览,有两种方法: 1. Ctrl + Shift + P 调出 阅读全文
posted @ 2018-04-16 13:40 HelloWooo 阅读(266) 评论(0) 推荐(0) 编辑