摘要： 一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：centos6.4； Spark 版本：1.5.0； Hadoop 版本： 阅读全文

摘要： 今天不想写作业- -... 阅读全文

摘要： 完成了一半的scala的编程实验2：https://www.cnblogs.com/halone/p/12256164.html 在菜鸟驿站中学习了相关的scala语法：https://www.runoob.com/scala/scala-tutorial.html 阅读全文

摘要： 实验1，计算级数： 首先打开安装完scala ide的eclipse，在eclipse 中新建一个scala project。 然后新建一个scala的object对象 导入scala.io.StdIn包，用以实现接受键盘输入 在新建的object对象中，新建main函数，并添加以下代码实现： pa 阅读全文

摘要： 今天爬取了北京市政百姓信件内容 爬取之后列表的结果 并且对scala的eclipse环境进行搭配， 实验的博客地址为：https://www.cnblogs.com/halone/p/12253412.html 阅读全文

摘要： 此次在eclipse中的安装参考这篇博客https://blog.csdn.net/lzxlfly/article/details/80728772 Help->Eclipse Marketplace 首先点击eclipse中的帮助，Eclipse Marketplace 在出现的这个页面中搜索sc 阅读全文

摘要： 今天编写了对一个网页中的内容进行爬取的Java程序，学习到了一些关于htmlunit爬取有ajax响应的网页中的内容。 同时，对于linux中的spark的环境和scala环境进行了简单的搭建。 具体的搭建博客网址在：https://www.cnblogs.com/halone/p/12238524 阅读全文

摘要： 2．使用 Linux 系统的常用命令 启动 Linux 虚拟机，进入 Linux 系统，通过查阅相关 Linux 书籍和网络资料，或者参考 本教程官网的“实验指南”的“Linux 系统常用命令”，完成如下操作： （1）切换到目录 /usr/bin； 输入cd /usr/bin （2）查看目录/usr 阅读全文

摘要： 一、实验目的 （1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统 上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同 时，下一章的 Scala 语言也会在 Linux 系统中安装和操作。鉴于目前很多 阅读全文

摘要： 一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：centos6.4； Scala版本：2.10.6.； Hadoop 版本 阅读全文