摘要: 恢复内容开始 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 先启动Hadoop。 jps查看各个服务已启动,进入hive 把本地文件上传到hdfs文件系统(这里本来是打算把预先准备的英文小说上传上去,但是不知道为什么一直提示找不到文件,然后发现帮助文档 阅读全文
posted @ 2018-05-17 23:45 235郑杰升 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 准备文件song.txt: 上传到hdfs/data文件中 启动Hive 创建原始文档表 导入文件内容到表docs并查看 导入: 查看: 用HQL进行词频统计,结果放在表word_count里 查看统计结果 阅读全文
posted @ 2018-05-17 19:55 235郑杰升 阅读(114) 评论(0) 推荐(0) 编辑