默默哦哦

摘要： 林子雨实验四 spark实验(四)--RDD编程(1) 一、实验目的（1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台操作系统：ubuntu Spark 三、实验内容 1．spark-shell 交互式编程 数据集下载专区地 阅读全文

摘要： 林子雨实验三 HDFS常用操作 （1） 启动Hadoop，在HDFS中用户目录”/user/hadoop” （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件 test.txt，并在该文件中随便输入一些内容，然后上传到 HDFS 的“/user/hadoo 阅读全文

摘要： 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为Sha 阅读全文

摘要： 第八天，我开始做林子雨实验二： 首先在虚拟机上安装scala(ubuntu)，下载地址https://www.scala-lang.org/download/； 在文件最开头加上： 制作第一个scala程序： 加入代码： object HelloWorld { def main(args: Arra 阅读全文

摘要： 使用Eclipse编写Spark应用程序（Scala+Maven） 安装maven插件和scala插件先进入eclipse后，点击Help–>Install New Software,在出现的install界面上输入maven插件的网址http://download.eclipse.org/rele 阅读全文

摘要： 在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成，因此，需要掌握如何把Windows系统中 的文件上传到Linux系统，以及如何把Linux系统中的文件下载到Windows系统中。 首先，到本教程官网的“下载专区”中的“软件”目录中，下载FTP软件File 阅读全文

摘要： 昨天成功安装完Spark一系列环境之后开始实验一： 使用Linux系统的常用命令 启动Linux虚拟机，进入Linux系统，通过查阅相关Linux书籍和网络资料，或者参考 本教程官网的“实验指南”的“Linux系统常用命令”，完成如下操作： （1）切换到目录/usr/bin； （2）查看目录/usr 阅读全文

摘要： 安装mavenubuntu中没有自带安装maven，需要手动安装maven。 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录 在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件（vim ./sparkapp2/src/m 阅读全文

摘要： 安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 阅读全文

摘要： 使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件： 简单的RDD操作： //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行， 阅读全文