5.RDD操作综合实例
摘要：
1、词频统计 A. 分步骤实现 1.准备文件 下载小说或长篇新闻稿 上传到hdfs上 2.读文件创建RDD 3.分词 4.标点符号[re.split(pattern,str),flatMap()] # 导入正则表达式re库，使用re.split分词 # 再次分词，清楚去标点符号后产生的无用数据 排除 阅读全文
posted @ 2022-04-02 14:33 树亭 阅读(85) 评论(0) 推荐(0) 编辑
2022年4月2日 #
