2014年10月18日

OSX Mavericks下使用Synergy进行多台主机通过wifi共享键鼠问题的解决方法

摘要: 转帖:OSX 10.9 几天用下来还是遇到几处问题的:之前先是遇到了OSX Mavericks GM598无法从Appstore升级到完全正式版的问题,下载无反应,后来找到了解决方法,发在以下链接:http://bbs.feng.com/read-htm-tid-7161018.html之后又遇到Synergy不能启动服务的问题,Synergy可是神器哦,多台电脑间跨系统支持键盘和鼠标的共享,wi... 阅读全文

posted @ 2014-10-18 16:15 萌@宇 阅读(417) 评论(0) 推荐(0) 编辑

2014年7月22日

yum downloadonly

摘要: 有些时候集群中的机器无法联网,通过yum进行安装,这样就需要找一个相同内核的机器将rpm下载后再到相应的机器上进行安装,以解决这一问题。 yum 有相应的工具完成这一任务。 1、首先安装yum-downloadonly。 yum install yum-downloadonly 2、如果是新安装,使用命令 yum instal... 阅读全文

posted @ 2014-07-22 09:51 萌@宇 阅读(1441) 评论(0) 推荐(0) 编辑

2014年7月8日

HDFS Protocol修改流程

摘要: 相对于1.x版本的Hadoop,2.x版本的Hadoop采用了Protocol Buffer作为序列化反序列化工具,以及RPC通讯工具。这样当我们对Hadoop源码进行修改之前,就需要了解Hadoop 2.x的代码结构和修改方法。 几个结构,以DatanodeProtocol举列子: DatanodeProtocol.java 还像1.x一样只是一个接口,NameNode继承这... 阅读全文

posted @ 2014-07-08 09:58 萌@宇 阅读(366) 评论(0) 推荐(0) 编辑

NameNode HA滚动升级方案

摘要: Hadoop 滚动升级非常方便,只需要在配置中增加一些选项就可以通过Hadoop自身的代码进行完成。步骤:1、首先到需要升级的NameService的Active NameNode上面,比如我们10.39.2.131是ns1的Active NameNode。2、新增加的配置:dfs.ha.fencing.methodsshell(/bin/true)3、在ActiveNameNode上面使用命... 阅读全文

posted @ 2014-07-08 09:57 萌@宇 阅读(554) 评论(0) 推荐(0) 编辑

2014年2月7日

HADOOP NAMENODE对Image和edits的处理

摘要: 1.SNN CheckPoint的处理流程配置中配置做CheckPoint的两个条件,一个是文件大小editlog大于多大就做,另一个是时间维度,多长时间做一次。(1)SNN首先检查是否需要进行checkpoint操作,如果上面两个条件任何一个满足了就可以(2)通过RPC 向NameNode发送请求,rollEditLog()NameNode关闭现在的edit的stream,同时生成一个edit.... 阅读全文

posted @ 2014-02-07 18:12 萌@宇 阅读(1606) 评论(0) 推荐(0) 编辑

2013年12月25日

Hadoop InputFormat OutputFormat

摘要: InputFormat有两个抽象方法: getSplits createRecordReader InputSplits 将数据按照Split进行切分,一个Split分给一个task执行。 RecordReader 在Task中将Split按照key value进行切分,每个RecordReader切分的数据都给map方法执行一遍。 RecordReader三个抽象方法: ini... 阅读全文

posted @ 2013-12-25 16:56 萌@宇 阅读(250) 评论(0) 推荐(0) 编辑

2013年11月29日

hadoop 1 testcase运行方法

摘要: 转入hadoop2.0后,逐渐忘记了之前做testcase运行的方法,记录一下: ant -Dtestcase=Test*** 如果只运行core包得testcase可以 ant -Dtestcase=Test*** test-core 查看target运行 ant -p 阅读全文

posted @ 2013-11-29 14:50 萌@宇 阅读(241) 评论(0) 推荐(0) 编辑

2013年11月17日

hadoop 2.0 native

摘要: 1.安装protobuf,参照http://wiki.apache.org/hadoop/HowToContribute 安装java模块 在java目录mvn install 2.配置protobuf com.google.protobuf protobuf-java 2.5.0 //加上版本号,否则找不到包 3,在源文件目录执行 mvn clean i... 阅读全文

posted @ 2013-11-17 22:01 萌@宇 阅读(192) 评论(0) 推荐(0) 编辑

hadoop 2.0 lzo 问题

摘要: 首先搞到lzo在github https://github.com/cloudera/hadoop-lzo/ ant package 对应的机器上把build目录下的native压缩,传给所有机器 把jar包传给所有机器相应目录 阅读全文

posted @ 2013-11-17 22:00 萌@宇 阅读(222) 评论(0) 推荐(0) 编辑

YARN学习笔记 ResourceManager部分

摘要: CompositeService 多个service封装,service定义了状态机状态改变的合法情况。 重要的方法是(子类需要实现的):serviceStart,serviceInit,serviceStop 里面的服务有: Dispatcher,ClientRMService,ApplicationMasterService,AplicationMasterLauncher,AdminS... 阅读全文

posted @ 2013-11-17 21:59 萌@宇 阅读(803) 评论(0) 推荐(0) 编辑

导航