2022年4月6日
5.RDD操作综合实例
摘要： 一、词频统计 A. 分步骤实现 1. 准备文件，下载小说或长篇新闻稿 2. 上传到hdfs上 3. 读文件创建RDD 4. 分词 5. 排除大小写lower()，map() 6. 标点符号re.split(pattern,str)，flatMap() 识别标点符号并替换成空白值 清除空白值 7. 停 阅读全文
posted @ 2022-04-06 15:20 不知道我什么名字 阅读(66) 评论(0) 推荐(0) 编辑