05 2018 档案

Hadoop综合大作业
摘要：1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 启动Hive 2.在Hdfs上创建文件夹并查看 2.在Hdfs上创建文件夹并查看 3.把下载的英文小说novers.txt文件上传至hdfs 4.启动Hive 5.创建原始文档表，把文件内容导入到表fict 阅读全文
posted @ 2018-05-25 22:00 186-叶晓钿 阅读(254) 评论(0) 推荐(0) 编辑
用mapreduce 处理气象数据集
摘要：cd /usr/hadoopsodu mkdir qxcd /usr/hadoop/qx wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/2* cd /usr/hadoop/q 阅读全文
posted @ 2018-05-09 21:55 186-叶晓钿 阅读(240) 评论(0) 推荐(0) 编辑