05 2018 档案

Hadoop综合大作业
摘要:1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。 我所用到短篇小说是傲慢与偏见,为了方便后续处理,对小说的特殊符号进行了处理,结果如图。 载入数据 创建查表 最终结果: 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结 阅读全文

posted @ 2018-05-24 14:57 105李梓维 阅读(227) 评论(0) 推荐(0) 编辑

理解MapReduce
摘要:1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 编写map函数,reduce函数 将其权限作出相应修改 #!/usr/ 阅读全文

posted @ 2018-05-14 08:47 105李梓维 阅读(143) 评论(0) 推荐(0) 编辑

熟悉HBase基本操作
摘要:用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 编写map函数,reduce函数 1.创建函数 2.编写两个函数 将其权限作出相应 阅读全文

posted @ 2018-05-10 22:03 105李梓维 阅读(95) 评论(0) 推荐(0) 编辑

熟悉常用的HBase操作
摘要:1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文

posted @ 2018-05-04 20:58 105李梓维 阅读(100) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示