会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
波叔叔
2021年6月7日
10 期末大作业
摘要: https://www.cnblogs.com/qq124323252/p/14855805.html 01 大数据概述 https://www.cnblogs.com/qq124323252/p/14855850.html 03 Spark RDD编程基础 交的时候已经过了日期,未能及时的交上去。
阅读全文
posted @ 2021-06-07 17:16 波叔叔
阅读(45)
评论(0)
推荐(0)
编辑
2021年6月6日
03 Spark RDD编程基础
摘要: 03 Spark RDD编程基础 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 w
阅读全文
posted @ 2021-06-06 17:28 波叔叔
阅读(22)
评论(0)
推荐(0)
编辑
01 大数据概述
摘要: 大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超
阅读全文
posted @ 2021-06-06 17:15 波叔叔
阅读(25)
评论(0)
推荐(0)
编辑
2021年5月29日
spark连接mysql数据库
摘要: 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql
阅读全文
posted @ 2021-05-29 17:56 波叔叔
阅读(110)
评论(0)
推荐(0)
编辑
2021年5月26日
08 学生课程分数的Spark SQL分析
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每
阅读全文
posted @ 2021-05-26 06:42 波叔叔
阅读(29)
评论(0)
推荐(0)
编辑
2021年5月7日
07 Spark SQL 及其DataFrame的基本操作
摘要: 07 Spark SQL 及其DataFrame的基本操作 1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL作为分布式SQL查询引擎
阅读全文
posted @ 2021-05-07 20:00 波叔叔
阅读(222)
评论(0)
推荐(0)
编辑
2021年4月22日
07 Spark RDD编程 综合实例 英文词频统计
摘要: 07 Spark RDD编程 综合实例 英文词频统计 1. 结果 2. 并比较不同计算框架下编程的优缺点、适用的场景。 –Python –MapReduce –Hive –Spark Mapreduce,它最本质的两个过程就是Map和Reduce,Map的应用在于我们需要数据一对一的元素的映射转换,
阅读全文
posted @ 2021-04-22 20:43 波叔叔
阅读(35)
评论(0)
推荐(0)
编辑
2021年4月16日
06 RDD编程
摘要: 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map().countByValue() //map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分
阅读全文
posted @ 2021-04-16 19:58 波叔叔
阅读(39)
评论(0)
推荐(0)
编辑
2021年4月4日
05 RDD练习:词频统计,学习课程分数
摘要: 一、词频统计: #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二
阅读全文
posted @ 2021-04-04 21:26 波叔叔
阅读(37)
评论(0)
推荐(0)
编辑
2021年3月30日
04 RDD编程练习
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对
阅读全文
posted @ 2021-03-30 18:38 波叔叔
阅读(35)
评论(0)
推荐(0)
编辑
下一页
公告
导航
博客园
首页
新随笔
新文章
联系
订阅
管理