摘要： 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame 一、DataFrame操作 1.总共有多少学生？ 2.总共开设了多少门课程？ 3.每个学生选修了多少门课？ 4.每 阅读全文

摘要： 7.Spark SQL 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MAPreduce作业。为了实现Hive的兼容，Shark重用了Hive中的Hive SQL 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文

摘要： 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filter() 统计词频 按词频排序 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件加载停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func)传入lambda匿名函数 显式定义函数 map(func) 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态圈以Spark Core为核心，从HDFS、Amazon S3和HBase等持久层读取数据，以MESS、YARN和自身携带的Standalone为资源管理器调度Job完成 阅读全文

摘要： 一、安装Spark 1.检查基础环境 启动hdfs查看进程 查看hadoop和jdk环境 2.下载spark 由于上学期已经下载好了Spark，这里没有下载过程的截图 3.配置环境变量 4.启动spark 5.试运行python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 p 阅读全文

摘要： 1. 列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 hadoop生态系统，hadoop是批处理模型，storm是流式处理模型，spark介于二者之间，不过现在storm和spark互相在涉及对方的领域，spark出streaming用于流式计算，sto 阅读全文