04 2021 档案

RDD编程

摘要：一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words = lines.flatMap(lambda line:line. 阅读全文

posted @ 2021-04-18 13:43 小王子C 阅读(97) 评论(0) 推荐(0) 编辑

RDD练习：词频统计

摘要：一、词频统计： 1.读文本文件生成RDD lines lines=sc.textFile("file:///home/hadoop/word.txt") #读取本地文件 lines.collect() 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatM 阅读全文

posted @ 2021-04-04 11:30 小王子C 阅读(259) 评论(0) 推荐(0) 编辑