摘要: 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文
posted @ 2021-03-27 00:46 15521419744 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 1. 为什么要引入Yarn和Spark。 YARN优势1、YARN的设计减小了JobTracker的资源消耗,并且让监测每一个Job子任务(tasks)状态的程序分布式化了,更安全、更优美。 2、在新的Yarn中,ApplicationMaster是一个可变更的部分,用户可以对不同的编程模型写自己的 阅读全文
posted @ 2021-03-12 17:40 15521419744 阅读(59) 评论(0) 推荐(0) 编辑