摘要: 3. 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest,再建表 employee,包含下列两行数据; 表 1 employee 表原有数据 id name gender age 1 Alice F 22 2 John M 25 阅读全文
posted @ 2022-02-28 14:27 青竹之下 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 2.编程实现将 RDD 转换为 DataFrame import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder import org.apache.spark.sql.Encoder import spark.implicits._ 阅读全文
posted @ 2022-02-28 14:26 青竹之下 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下,并保存命名为 employee.json。 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 } { "id":3 ,"nam 阅读全文
posted @ 2022-02-28 14:24 青竹之下 阅读(179) 评论(0) 推荐(0) 编辑
摘要: .编写独立应用程序实现数据去重 对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其 中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。 输入文件 A 的样例如下: 20170101 x 20170102 y 20170103 x 2 阅读全文
posted @ 2022-02-28 14:21 青竹之下 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt,该数据集包含 了某大学计算机系的成绩,数据格式如下所示: Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algo 阅读全文
posted @ 2022-02-28 14:18 青竹之下 阅读(282) 评论(0) 推荐(0) 编辑
摘要: 3. 统计学生成绩 学生的成绩清单格式如下所示,第一行为表头,各字段意思分别为学号、性别、课程名 1、课程名 2 等,后面每一行代表一个学生的信息,各字段之间用空白符隔开 给定任何一个如上格式的清单(不同清单里课程数量可能不一样),要求尽可能采用函 数式编程,统计出各门课程的平均成绩,最低成绩,和最 阅读全文
posted @ 2022-02-28 14:13 青竹之下 阅读(158) 评论(0) 推荐(0) 编辑
摘要: import io.StdIn._ var Sn:Float = 0 var n:Float=1 println("please input q:") val q = readInt() while(Sn<q){ Sn+=(n+1)/n n+=1 } println(s"Sn=$Sn") 1. 计算 阅读全文
posted @ 2022-02-28 14:11 青竹之下 阅读(101) 评论(0) 推荐(0) 编辑