MapReduce-从HBase读取数据处理后再写入HBase
摘要：
MapReduce-从HBase读取处理后再写入HBase 代码如下 打包测试 出现的问题 一开始使用额TableMapReduceUtil,但是报下面这个错 解决，不使用TableMapReduceUtil，分布设置便可解决此问题 阅读全文
posted @ 2018-09-28 09:51 嘣嘣嚓 阅读(570) 评论(0) 推荐(0) 编辑
MapReduce-边数据
摘要：
边数据 边数据（side data）是作业所需的额外的只读数据，以辅助处理主数据集。所面临的挑战在于如何使所有map或reduce任务（这些任务散布在集群内部）都能够方便而高效地使用边数据。 利用Job来配置作业 Configuration类的各种setter方法能够方便地配置作业的任一键值对。如果 阅读全文
posted @ 2018-09-24 15:04 嘣嘣嚓 阅读(228) 评论(0) 推荐(0) 编辑
MapReduce-join连接
摘要：
join连接 MapReduce能够执行大型数据集间的连接（join）操作。连接操作的具体实现技术取决于数据集的规模及分区方式连接操作如果由mapper执行，则称为“map端连接”；如果由reducer执行，则称为“reduce端连接”。 Map端连接 在两个大规模输入数据集之间的map端连接会在数 阅读全文
posted @ 2018-09-22 18:19 嘣嘣嚓 阅读(203) 评论(0) 推荐(0) 编辑
MapReduce-读取HBase
摘要：
MapReduce读取HBase数据 代码如下 阅读全文
posted @ 2018-09-17 15:33 嘣嘣嚓 阅读(576) 评论(0) 推荐(0) 编辑
MapReduce-读取文件写入HBase
摘要：
MapReduce直接写入HBase 代码如下 阅读全文
posted @ 2018-09-17 13:49 嘣嘣嚓 阅读(646) 评论(0) 推荐(0) 编辑
MapReduce-排序(全部排序、辅助排序)
摘要：
排序 排序是MapReduce的核心技术。 1.准备 示例：按照气温字段对天气数据集排序。由于气温字段是有符号的整数，所以不能将该字段视为Text对象并以字典顺序排序。反之，用顺序文件存储数据，其IntWritable键代表气温(并且正确排序)，其Text值就是数据行。MapReduce作业只包含m 阅读全文
posted @ 2018-09-16 14:47 嘣嘣嚓 阅读(980) 评论(0) 推荐(0) 编辑
HBase-建表(普通建表及预分区建表)
摘要：
还有createTableAsync方法，这个方法使用表描述符和预拆分的region边界作为参数，并进行异步建表，但执行过程与createTable殊途同归 同步模式仅仅是异步模式的简单封装，增加了不断检查这个任务是否已经完成的循环操作。 阅读全文
posted @ 2018-09-12 11:09 嘣嘣嚓 阅读(3767) 评论(0) 推荐(0) 编辑
MapReduce-计数器
摘要：
计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。根据计数器值来记录某一特定事件的发生比分析一堆日志文件容易得多。内置计数器Hadoop为每个作业维护若干内置计数器，以描述多项指标。例如，某些计数器记录已处理的字节数和记录数，使用户可监控已处理的输 阅读全文
posted @ 2018-09-09 14:29 嘣嘣嚓 阅读(358) 评论(0) 推荐(0) 编辑
