摘要：
yarn是一个分布式的资源管理系统。 它诞生的原因是原来的MapReduce框架的一些不足： 1、JobTracker单点故障隐患 2、JobTracker承担的任务太多，维护Job状态，Job的task的状态等 3、在taskTracker端，使用map/reduce task表示资源过于简单，没 阅读全文
摘要：
zookeeper要保证各个server之间同步，实现同步的协议是zab协议。此协议有两种模式：恢复模式（选主）和广播模式（同步）。 服务启动或者leader崩溃时，进入恢复模式。选举成功且大多数server完成了和leader的状态同步后（2n+1台中的n+1台），恢复模式就结束了。 状态同步保证 阅读全文
摘要：
由于之前虚拟机都是用的桥接方式，有时候没有网络可用，想学习的时候，就狠不方便。 于是研究了一下，希望搭建一个多台虚机组成一个局域网的集群，即host-only方式 1、安装VM，网络选择“host-only”模式 2、设置本机（win7）的网络设置，配置虚拟网卡，用来跟虚拟机通信 即：VMware 阅读全文
摘要：
理论知识： http://www.tuicool.com/articles/jameeqm 这篇文章讲的非常详细了： http://www.tuicool.com/articles/jameeqm 以下是进阶，讲QJM工作原理： http://www.tuicool.com/articles/eIB 阅读全文
摘要：
1、etc 配置目录 2、swap 3、挂载点 建立一个目录，作为一个设备的访问入口，光盘镜像文件、移动硬盘、U盘以及Windows网络共享和UNIX NFS网络共享等 mnt目录， 建立挂载点：mnt /设备文件 自定义目录 删除挂载点：unmnt /设备文件|自定义目录 4、启动的7个级别 1） 阅读全文
摘要：
1、列出所有正在执行的任务 hadoop job -list 2、kill任务 hadoop job -kill 任务名 阅读全文
摘要：
http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454689.html 阅读全文
摘要：
1、@Autowired 自动寻找合适的类型注入，byType2、@Qualifier("userDAOImpl") 存在多个相同类型时，指定固定的一个bean,和上面1配合使用3、@Required 检查在配置中是否给该属性赋默认值，如果否，则报错4、@Autowired(required=fal 阅读全文
摘要：
一、先在HDFS文件系统创建对应的目录，具体如下：1、待处理文件存放目录/data/wordcount（之所以创建wordcount，是为了对文件分类，对应本次任务名）命令：hadoop fs -mkdir -p /data/wordcount (-p是同时创建子目录)2、存放输出文件目录/outp... 阅读全文
摘要：
一、导入hadoop插件到eclipse插件名称：hadoop-eclipse-plugin-2.7.0.jar我是从网上下载的，还可以自己编译。放到eclipse安装目录下的plugins文件夹tip：1、竟然没有plugins文件夹，自己在安装目录下新建了个文件夹2、重启eclipse后，一直无... 阅读全文