摘要： 第七次 作业 补交（时间原因） https://www.cnblogs.com/lzf1234/p/14875051.html 阅读全文

摘要： 1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie 阅读全文

摘要： spark连接mysql数据库: 1.安装启动检查Mysql服务。 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars netstat -tunl 阅读全文

摘要： 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 df_scs. 阅读全文

摘要： Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 阅读全文

摘要： 05 RDD编程 一、词频统计： 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter()去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortB 阅读全文

摘要： 一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排 阅读全文

摘要： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatMap(lambda line:line.spli 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") 2.将一行一行的文本分割成单词 words words = lines.flatMa 阅读全文

摘要： 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 筛选 阅读全文