摘要：
1.选择使用什么数据，有哪些字段，多大数据量。 答：us-counties美新冠数据；字段：date，county，state，cases，deaths；数据量：158981条 2.准备分析哪些问题？（8个以上） 1.美国各州每日新增感染人数，各州每日新增死亡人数，各州每日新增治愈人数 2.美国各州 阅读全文
摘要：
1.安装启动检查Mysql服务。netstat -tunlp (3306) service mysql start sudo netstat -tap | grep mysql 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector- 阅读全文
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ 阅读全文
摘要：
1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie 阅读全文
摘要：
1.Spark SQL出现的原因是什么? Spark SQL刚开始也是使用了hive里面一些东西的，但是Spark SQL里面的hive版本肯定要比hive社区理的版本要低一些的，那么hive里面有的东西，比如说原来跑在mapreduce之上已有的一些功能，如果你使用hive on spark的话他 阅读全文
摘要：
读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频排序 sortB 阅读全文
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文
摘要：
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 阅读全文
摘要：
阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoop2. 阅读全文