2014年9月12日
Yarn的服务库和事件库使用方法
摘要： 事件类型定义：package org.apache.hadoop.event;public enum JobEventType { JOB_KILL, JOB_INIT, JOB_START}package org.apache.hadoop.event;p... 阅读全文
posted @ 2014-09-12 18:23 joqk 阅读(489) 评论(0) 推荐(0) 编辑
SSH无密码验证
摘要： 一、安装和启动SSH协议sudo yum install ssh sudo yum install rsyncservice sshd restart 启动服务（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）确保所有的服务器都安装，上面命令执行完毕，各台机器之间可以... 阅读全文
posted @ 2014-09-12 07:57 joqk 阅读(541) 评论(0) 推荐(0) 编辑
2014年9月11日
在centos 6.5 在virtual box 上 安装增强版工具
摘要： centos 6.5 在virtual box 上 安装增强版工具： 出现：centos unable to find the source of your current linux kernelIs it too late to contribute to this thread? I fo... 阅读全文
posted @ 2014-09-11 17:34 joqk 阅读(302) 评论(0) 推荐(0) 编辑
win7/8下VirtualBox虚拟Ubuntu共享文件夹设置
摘要： 实验环境：主机：win8.1虚拟机软件：VirtualBox4.3虚拟的主机：centos6.5 final亲测可用！1.安装增强功能包(VBoxGuestAdditions) 打开虚拟机，运行centos，在菜单栏选择“设备->安装增强功能”，根据提示即可安装成功（成功后也可以实现真正的全屏）。... 阅读全文
posted @ 2014-09-11 17:25 joqk 阅读(174) 评论(0) 推荐(0) 编辑
linux常用命令
摘要： 1.临时修改$hostname newhostname重启之后又变回原来的样子了2.永久修改第一步：sudo vi /etc/hostname接着再修改hosts文件，终输入：sudo vi /etc/hosts找到127.0.1.1.这时候就会生效。这一行，把它右边的旧主机名改成你的新主机名即可。... 阅读全文
posted @ 2014-09-11 16:05 joqk 阅读(291) 评论(0) 推荐(0) 编辑
YARN的 AM与RM通信，申请资源分配过程
摘要： AppMaster向RM请求资源MRAppMaster :serviceinit // service to allocate containers from RM (if non-uber) or to fake it (uber) containerAllocator = creat... 阅读全文
posted @ 2014-09-11 14:31 joqk 阅读(3062) 评论(0) 推荐(0) 编辑
2014年9月10日
YARN-RPC
摘要： 运行在YARN平台上面的RPC。当前存在非常多的开源RPC框架，比较著名的有Thrift、Protocol Buffers 和 AVRO。他们均有两部分构成：对象序列化和远程过程调用。重要类：YarnRPCHadoopYarnRPCRpcFactoryProvider。RpcClientFact... 阅读全文
posted @ 2014-09-10 15:49 joqk 阅读(444) 评论(0) 推荐(0) 编辑
Yarn的服务库和事件库
摘要： 对于生命周期较长的对象，YARN采用了基于服务对象管理模型对其进行管理。 该模型有一下特点： 每个被服务化的对象都分为4个状态 任何服务状态变化都可以触发另外一些动作 可以通过组合方式对任意服务进行组合，以便统一管理。YARN中服务模型的类图（位于包：org.apahce.hado... 阅读全文
posted @ 2014-09-10 15:48 joqk 阅读(266) 评论(0) 推荐(0) 编辑
2014年9月9日
Hadoop的RPC框架介绍
摘要： 为什么会引入RPC：RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode是服务器DataNode-NameNo... 阅读全文
posted @ 2014-09-09 17:45 joqk 阅读(2739) 评论(0) 推荐(0) 编辑
2014年9月4日
Java Api与HBase交互实例
摘要： import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas... 阅读全文
posted @ 2014-09-04 17:11 joqk 阅读(241) 评论(0) 推荐(0) 编辑