05 2018 档案

Hadoop综合大作业
摘要：1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 解析：因为上一次我的大作业是对电影的爬取，爬出来的文档有些是英语也有些是中文，又因为生成的文档是中文甚至过于庞大，所以这一次的大作业我就下载了几个《简爱》英语版小说的几个章节，文档也是足够大了，有的文档内容 阅读全文
posted @ 2018-05-20 09:48 248黄迎迎 阅读(153) 评论(0) 推荐(0) 编辑
hive基本操作与应用
摘要：1.启动hadoop start-all.sh 2.Hdfs上创建文件夹 hdfs dfs -mkdir wcinput hdfs dfs -ls /user/hadoop 3.上传文件至hdfs hdfs dfs -put ./509.txt wcinput hdfs dfs -ls /user/ 阅读全文
posted @ 2018-05-15 17:55 248黄迎迎 阅读(112) 评论(0) 推荐(0) 编辑
MapReduce作业
摘要：1.编写map函数，reduce函数 （1）创建mapper.py文件 cd /home/hadoop/wc gedit mapper.p （2）mapper函数 cd /home/hadoop/wc gedit reducer.py 放到HDFS上运行 下载并上传文件到hdfs上 阅读全文
posted @ 2018-05-10 13:58 248黄迎迎 阅读(147) 评论(0) 推荐(0) 编辑
熟悉HBase基本操作
摘要：1.以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） put 'Student','188','S_No','2015001' put 'Student','190','S_No','2015003' put 'Studen 阅读全文
posted @ 2018-05-08 17:00 248黄迎迎 阅读(76) 评论(0) 推荐(0) 编辑