会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
087林金龙
博客园
首页
新随笔
联系
订阅
管理
2018年5月25日
Hadoop综合大作业
摘要: 一、用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 1、文本操作 由于我爬的是贴吧的回复,所以爬取出来的内容都是中文的 所以我下要在windows平台先把爬取到的文本进行分词,然后再在虚拟机里进行词频统计 以下是我爬取的文本内容: 分词前: 分词后: 分词所
阅读全文
posted @ 2018-05-25 11:16 087林金龙
阅读(163)
评论(0)
推荐(0)
编辑
公告