2021年6月7日
10 期末大作业
摘要： 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 选用kaggle提供的美国疫情数据 有五个字段：date county state cases deaths 数据量：158984条 2.准备分析哪些问题？（8个以上） (1).统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作 阅读全文
posted @ 2021-06-07 19:48 红烧鸿宝 阅读(20) 评论(0) 推荐(0) 编辑
06 Spark SQL 及其DataFrame的基本操作
摘要： 一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业（辅以内存列式存储等各种和Hive关 阅读全文
posted @ 2021-06-07 19:42 红烧鸿宝 阅读(40) 评论(0) 推荐(0) 编辑
07 从RDD创建DataFrame
摘要： 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-06-07 19:40 红烧鸿宝 阅读(17) 评论(0) 推荐(0) 编辑
2021年5月31日
09 spark连接mysql数据库
摘要： 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.每门课程大于95分的学生人数？ 7.Tom选修了几门课？每门课多少分？ 8. 阅读全文
posted @ 2021-05-31 16:56 红烧鸿宝 阅读(53) 评论(0) 推荐(0) 编辑
2021年5月19日
08 学生课程分数的Spark SQL分析
摘要： 1.用DataFrame的操作或SQL语句完成以下数据分析要求： 2.总共有多少学生？ 3.开设了多少门课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.Tom选修了几门课？每门课多少分？ 7.Tom的成绩按分数大小排序。 8.Tom的平均分。 9.每个分数+5分。 10.求每 阅读全文
posted @ 2021-05-19 23:08 红烧鸿宝 阅读(51) 评论(0) 推荐(0) 编辑
2021年4月17日
05 RDD编程
摘要： 一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排 阅读全文
posted @ 2021-04-17 23:19 红烧鸿宝 阅读(59) 评论(0) 推荐(0) 编辑
2021年4月4日
第五次作业 RDD练习：词频统计
摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-04-04 19:44 红烧鸿宝 阅读(56) 评论(0) 推荐(0) 编辑
2021年3月27日
第二次作业 Spark RDD编程
摘要： 1.准备文本文件 从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2.生成单词的列表 从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3.筛 阅读全文
posted @ 2021-03-27 22:21 红烧鸿宝 阅读(64) 评论(0) 推荐(0) 编辑
2021年3月12日
第一次作业（Spark架构与运行流程）
摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 答:hdfs是所有hadoop生态的底层存储架构，它主要完成了分布式存储系统的逻辑，凡是需要存储的都基于其上构建。 yarn是负责集群资源管理的部分，这个资源包括计算资源和存储资源，因 阅读全文
posted @ 2021-03-12 15:51 红烧鸿宝 阅读(128) 评论(0) 推荐(0) 编辑
2020年12月11日
作业九
摘要： 一.测试文件 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 二.电子书 1.mysql准备接受数据的数据库与表 2.hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文
posted @ 2020-12-11 22:04 红烧鸿宝 阅读(78) 评论(0) 推荐(0) 编辑
下一页