寒假第六天

寒假第六天

今天开始初步学习Spark，根据林子雨老师的教程首先安装Spark,以及对Spark有了简单的了解。

Spark我的理解就是比Hadoop Mapreduce处理数据更快的一项技术，其实各个方面都差不多。然后在安装过程中遇到一点儿小问题。

1.下载解压根据林子雨老师的教程就是解压不进去，我只能先将压缩包赋值到指定文件夹，再解压

 

在Spark Shell中sc 可以创建文件

 

加载HDFS文件和本地文件都是使用textFile，区别是添加前缀(hdfs://和file:///)进行标识。（重点）