2018年5月25日
Hadoop综合大作业
摘要： 一、用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 1、文本操作 由于我爬的是贴吧的回复，所以爬取出来的内容都是中文的 所以我下要在windows平台先把爬取到的文本进行分词，然后再在虚拟机里进行词频统计 以下是我爬取的文本内容： 分词前： 分词后： 分词所 阅读全文
posted @ 2018-05-25 11:16 087林金龙 阅读(163) 评论(0) 推荐(0) 编辑