摘要: 一、调优的目的 充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。二、调优的总体概述 从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,其中mapper阶段包括数据的读取、map处理以及写出操作( 阅读全文
posted @ 2019-07-09 17:29 cac2020 阅读(313) 评论(0) 推荐(0) 编辑
摘要: 环境 hadoop-2.6.5 hive-1.2.1 一、Hive和Hbase整合如果使用Hive进行分析,Hive要从Hbase取数据(当然可以直接将数据存到Hive),那么就需要将Hive和HBase做整合,将hbase的列映射到hive即可。 步骤1:把hive-hbase-handler-1 阅读全文
posted @ 2019-07-09 16:25 cac2020 阅读(943) 评论(0) 推荐(0) 编辑
摘要: 环境 hadoop-2.6.5 hbase-0.98.12.1-hadoop2 新增用户指标分析(1)用户分析模块 (2)浏览器分析模块 根据分析效果图,找出分析的维度:用户分析是指某个时间段内的数量变化,浏览器用户分析自然就是某个浏览器在某个时间段内的数量变化,那么根据现有条件确定统计分类的种类, 阅读全文
posted @ 2019-07-09 11:17 cac2020 阅读(556) 评论(1) 推荐(0) 编辑