摘要： 今天主要学习了实验 7 Spark 机器学习库 MLlib 编程实践， 主要代码： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Ve 阅读全文

摘要： 今天主要解决了实验五未解决的问题，前天在做实验五spark连接mysql时出现找不到jar包的问题，看了网上的讲解，调整了一下路径，有人说jar包要放在同名的一个文件夹里，实际上jar包应该直接放在spark安装目录的jars目录下就可，这样就可以连接上。 3. 编程实现利用 DataFrame 读 阅读全文

摘要： 实验 5 Spark SQL 编程初级实践 今天主要学习了spark实验五，在这里碰到的第一个问题就是spark读取文件找不到路径， 经过排查，问题定位在文件名中含有空格，已解决。如图 第二个大问题就是进行sbt打包时，报错，如图 根据错误描述可知，程序在第二行 import org.apache. 阅读全文

摘要： 今天主要学习了spark实验四的内容，实验四主要为RDD编程，本实验的重点为两个编程题 1.编写独立应用程序实现数据去重对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。输入文件 A 阅读全文

摘要： 今天主要进行了spark实验六的学习，Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flu 阅读全文

摘要： 由于当初出按照林子雨老师的教程安装虚拟机时，只分配了10g的硬盘空间，现在安装的东西越来越多，导致内存越来越少了，于是在网上查找教程想实现硬盘扩容，在经过实践后，得到成功，但是却不是我想要的，如下图 这个操作没有给我的根目录扩容，而是产生了一个新的目录，失落的我又去查询新的教程，经过查询，发现gpa 阅读全文

摘要： 今天主要解决了昨天遗留的问题，当下载东西不动的时候，可以尝试换个网络，经过我的尝试，换个网络确实有效，另外今天主要按照教程学习安装了scala和maven等一些东西，另外完成了spark的实验三，实验三主要就是熟悉一些基础的命令，对比教程很容易完成。主要就是学会了通过sbt打包jar包，然后通过 s 阅读全文

摘要： 今天在学习安装stb过程中遇到了一个问题，一直没解决，就是./sbt sbt-version这最后一步确认之后没反应，等了好久都没反应，网上说jdk1.8，重启，改配置文件等等方法都没有改变，最终猜测可能是网速的原因，还没有解决。 阅读全文

摘要： 今天主要研究了spark实验二的第一部分的Scala编写，看完代码后发现需要在REPL模式下运行，经过查证发现需要安装scala脚本，所以尝试在虚拟机中安装scala，成功后使用给的代码尝试运行，但是出错，提示没有找到类的定义，经过查证，发现是代码中缺少类得定义。改正后可以正常运行。 import 阅读全文

摘要： 今天是正月初六，也是我学习的第一天，首先来说今天只是熟悉了以前学过的那些知识，包括linux的各种基础命令，完成了spark实验一，并且安装了实验二所需要用到的scala，安装教程里有两种环境安装，现在没弄明白安装哪种，目前正在安装虚拟机环境下的scala，还在基础使用阶段。明天打算学会scala的 阅读全文