摘要： 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 答：us-counties美新冠数据.csv；日期，郡，州，确诊，死亡；约16万条数据。 2.准备分析哪些问题，可视化方式？（8个以上） 答： (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段，对cases 阅读全文

摘要： 三、spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/j 阅读全文

摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文

摘要： 0.前次作业：从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 答：（1）代码： （2）运行结果： 2. Spark与Pandas中DataFrame对比 阅读全文

摘要： 1.Spark SQL出现的 原因是什么? 答：（1）Shark执行计划优化完全依赖于Hive，不便于添加新的优化策略。 （2）Spark是线程级并行，MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hiv 阅读全文

摘要： 一、词频统计： 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序sortByKey() 按词 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 答： （1）文 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 答： （1）准备文件 （2）生成RDD （3）分割成单词 （4）转换小写 （5） 阅读全文

摘要： 1.准备文本文件，从文件创建RDD lines=sc.textFile()，筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式 答： （1）准备文件 （2）创建RDD （3）筛选 2.生成单词的列表，从列表创建RDD words=sc.parallelize()，筛选 阅读全文

摘要： 1. 为什么要引入Yarn和Spark。 答：（1）因为Yarn通用资源管理系统可以为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 （2）因为Spark基于内存运算，速度快；支持多语言；通用，可以处理批处理、交互式查询、实时流、机器学习和图计 阅读全文