摘要：
调试中 阅读全文
摘要：
1．Spark SQL 基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json。 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 阅读全文
摘要：
前端界面进行了初步的搭建 采用的是layui框架 调试了一下各种形式的 阅读全文
摘要：
为了能实现自主化爬取，所以设置了每过半个小时 其中将是将设置为了：1800s 仿照的代码是： 为了记录时间，采用了这个模块： 同时将时间作为了存放数据的文件夹名字： 最终是爬取的主程序： 由于目前任然在爬取数据，所以将部分成果展示一下： 阅读全文
摘要：
第二题： 第一步：在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup.scala 在目录/usr/local/spark/mycode/remdup 阅读全文
摘要：
第四个实验是关于RDD编程的，一些语句能看懂一部分，但是还是不熟悉，需要多多了解。今天只完成了第一部分spark-shell交互式编程。 该系总共有多少学生： 该系共开设来多少门课程： Tom 同学的总成绩平均分是多少： 求每名同学的选修的课程门数： 该系 DataBase 课程共有多少人选修： 各 阅读全文
摘要：
今天上网针对疫情做了一个可视化的一个动态过程 可以修改参数，进行不同的模拟 最终成功证明了一个事，减少人流动才是最好的办法，这个贯穿整个模拟 最终的代码保留在百度云上，以下是链接： https://pan.baidu.com/s/1KuvU3vN32k8qiJlIP2HCKA （解压密码：帅气的Ga 阅读全文
摘要：
对于之前的hdfs的实验进行了回顾，并将代码进行了整合任务要求： 判断文件是否存在： 读取文件内容： 列表的递归显示： 阅读全文
摘要：
统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id gender Math English Physics 301610 male 80 64 78 301611 female 6 阅读全文