2016年5月3日
三 概要模式 3) MR计数器计数 。无 reduce 计数
摘要： 计数器模式讲解： 先讲一下，就是说只用 Map 阶段 不需要 Reduce 。 也就是说去掉了中间输出，而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。Hadoop 框架支持 在 MR 结束时，只需要简单的获取框架的计数器信息并将结果写入到任意地方。 包括日志、本地文件系统、HDFS 等。 Hadoop 框架中内置了一些计数... 阅读全文
posted @ 2016-05-03 14:51 rocky_24 阅读(324) 评论(0) 推荐(0) 编辑
五 数据组织模式 2） 分区模式 代码
摘要： 简单4个分区。 package com.rocky.mr.partition;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.rocky.util.TimeUtils;import org.apache.hadoop.conf.Configurable;import org.apa... 阅读全文
posted @ 2016-05-03 14:51 rocky_24 阅读(407) 评论(0) 推荐(0) 编辑
希望祖国繁荣，富强！ God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24