2016 年 5月随笔档案 - rocky_24

MRv2 工作机制、公平调度器、MR压缩、边数据

摘要：对于节点数超过 4000 的大型集群，前一节描述的 MapReduce 系统开始面临着扩展的瓶颈。 2010 年 Yahoo 的团队开始设计下一代的 MapReduce。（Yet Another Resource Negotiator、YARN Application Resource Nefot 阅读全文

posted @ 2016-05-26 17:42 rocky_24 阅读(663) 评论(0) 推荐(0)

程序员单排路上的状态与花式十八坑

摘要：每个猿如何成长，升级，选择打怪地点、如何练级、如何选择技能包都是非常重要的。忽悠开始~ 初级（囧傻呆萌就是坑）状态：刚入职场的新人一般都在这个级别了。基本上这个阶段就是一本书——《十万个为什么》。然后经历最多的是一个无情的现实《 “听懂了吗？”，“懂了”，“不难吧”，“恩，不难”，过一会。。。大神阅读全文

posted @ 2016-05-13 15:03 rocky_24 阅读(179) 评论(0) 推荐(0)

一个单排程序猿的成长阶段与各阶段的花式十八坑

摘要：每个猿如何成长，升级，选择打怪地点、如何练级、如何选择技能包都是非常重要的。忽悠开始~ 初级（囧傻呆萌就是坑）状态：刚入职场的新人一般都在这个级别了。基本上这个阶段就是一本书——《十万个为什么》。然后经历最多的是一个无情的现实《 “听懂了吗？”，“懂了”，“不难吧”，“恩，不难”，过一会。。。大神阅读全文

posted @ 2016-05-13 12:11 rocky_24 阅读(201) 评论(0) 推荐(0)

zookeeper 安装笔记 3.6.7

摘要：1 下载 ZK wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.7/zookeeper-3.4.7.tar.gz 2 解压 tar -zxvf zookeeper-3.4.7.tar.gz 3 修改配置文件 cp zoo_sa 阅读全文

posted @ 2016-05-06 14:44 rocky_24 阅读(749) 评论(0) 推荐(0)

OpenStack 与大数据的融合

摘要： 此处是hadoop 2.7.2以前 Hadoop 预留的一个 HDFS 文件系统的接口。可以通过修改这里将数据源的读取改为 Swift。也可以通过修改 MR 源码将数据抽取部分变换成 Swift。注：写错了少了个A 应该是： Sahara。推荐用 Sahara 阅读全文

posted @ 2016-05-04 14:26 rocky_24 阅读(1216) 评论(0) 推荐(0)

五数据组织模式 2）分区模式代码

摘要：简单4个分区。 package com.rocky.mr.partition;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.rocky.util.TimeUtils;import org.apache.hadoop.conf.Configurable;import org.apa... 阅读全文

posted @ 2016-05-03 14:51 rocky_24 阅读(408) 评论(0) 推荐(0)

三概要模式 3) MR计数器计数。无 reduce 计数

摘要：计数器模式讲解：先讲一下，就是说只用 Map 阶段不需要 Reduce 。也就是说去掉了中间输出，而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。Hadoop 框架支持在 MR 结束时，只需要简单的获取框架的计数器信息并将结果写入到任意地方。包括日志、本地文件系统、HDFS 等。 Hadoop 框架中内置了一些计数... 阅读全文

posted @ 2016-05-03 14:51 rocky_24 阅读(332) 评论(0) 推荐(0)

rocky_24

愉快的编程，浪浪的写代码~

05 2016 档案

公告