素净 - 博客园

2017年8月1日

摘要： HBase 是一个NoSQL数据库，用于处理海量数据，可以支持10亿行百万列的大表，下面我就和大家分享一下数据是如何存放在HBase表中的为了更好的理解HBase表的思路，先回顾一下关系数据库中表的处理方式 ①关系型数据库的表结构为了更好的理解HBase表的思路，先回顾一下关系数据库中表的处理方阅读全文

posted @ 2017-08-01 20:45 素净阅读(7233) 评论(1) 推荐(0) 编辑

MapReduce:输入是两个文件，file1代表工厂表，包含工厂名列和地址编号列；file2代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出"工厂名----地址名"表

摘要：文件如下： file1： file2：代码如下（由于水平有限，不保证完全正确，如果发现错误欢迎指正）：输出结果如下：如果您认为这篇文章还不错或者有所收获，您可以通过右边的“打赏”功能打赏我一杯咖啡【物质支持】，也可以点击下方的【好文要顶】按钮【精神支持】，因为这两种支持都是使我继续写作、分享阅读全文

posted @ 2017-08-01 15:23 素净阅读(675) 评论(0) 推荐(3) 编辑

MapReduce:将下面的两排数字先按第一排排序，然后再按第二排排序，要求顺序排序

摘要： MapReduce:将下面的两排数字先按第一排排序，然后再按第二排排序，要求顺序排序文件如下：这个案例主要考察我们对排序的理解，我们可以这样做：代码如下（由于水平有限，不保证完全正确，如果发现错误欢迎指正）： ①建一个TestBean ②测试代码：这样就能得到最终结果：如果您认为这篇文章还阅读全文

posted @ 2017-08-01 15:07 素净阅读(658) 评论(0) 推荐(1) 编辑

2017年7月31日

MapReduce:输出是一个文本文件，每一行第一个数字式行标，第二个数字是输入文件中每一行除行标外数字的平均值，且整数不保留小数，小数保留两位小数点

摘要：有时候你会遇到这样的问题：你有一个表格，给出了每个人在十二月，一月和二月的收入。表格如下：姓名一月二月三月楚乔 200 314 3500 宇文玥 2000 332 2300 烟熏柿子 6000 333 680 淳儿 5000 333 789 洛河 30 12 2900 现在需要知道每个人阅读全文

posted @ 2017-07-31 19:11 素净阅读(356) 评论(0) 推荐(1) 编辑

2017年7月27日

MapReduce:给出children-parents（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表

摘要： hadoop中使用MapReduce单表关联案例： MapReduce:给出children-parents（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。给出表：要求实现如下效果：设计思路：将这张单表分成两张表如下：将左表的parents列和右表阅读全文

posted @ 2017-07-27 11:39 素净阅读(3455) 评论(0) 推荐(3) 编辑

2017年7月26日

Hadoop:eclipse配置hadoop-eclipse-plugin(版本hadoop2.7.3)

摘要：配置hadoop-eclipse-plugin(版本hadoop2.7.3): 1:首先下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll 链接地址：https://pan.baidu.com/s/1nuCoe0L#li 阅读全文

posted @ 2017-07-26 16:16 素净阅读(23106) 评论(5) 推荐(9) 编辑

MapReduce:实现文档倒序排序，且字符串拼接+年+月+日

摘要：写出MapReduce程序完成以下功能. input1： input2：目标操作实现结果：代码如下（由于水平有限，不保证完全正确，如果发现错误欢迎指正）：小结：把value-list作为map的value输出，这样就不会排序和去重，然后reduce再去接收并且context.write()出来阅读全文

posted @ 2017-07-26 14:01 素净阅读(1235) 评论(3) 推荐(1) 编辑

MapReduce：汇总学生表和成绩表为----学生成绩表

摘要：已知两张数据表，其中表一存储的是学生编号、学生姓名；表二存储的是学生编号、考试科目、考试成绩；编写mapreduce程序，汇总两张表数据为一张统一表格。表一: 表二: 正确结果：执行java程序，打印出part-r-00000中数据：代码如下（由于水平有限，不保证完全正确，如果发现错误欢迎指正阅读全文

posted @ 2017-07-26 11:22 素净阅读(1966) 评论(1) 推荐(3) 编辑

素净。

公告