摘要：文章主要来自董的博客：YARN/MRv2 Node Manager深入剖析—Container启动过程http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-node-manager-container-setup-process/YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，为了能够灵活的控制内存使用量，YARN采用了进程监控的方案控制内存使用，即每个NodeManager会启动一个额外监控线程监控每个container内存使用量，一旦发现它超过约定的资源量，则会将其杀死。对于CPU资源，则采用了Cgroups进程资源隔离， 阅读全文

摘要：Hadoop 0.23中使用了基于事件驱动机制的异步编程模型。每个对象都是一个有限状态机，有相应的事件处理器（EventHandler），处理器处理对应的事件类型。事件处理后，对象将从一个状态变化到另一个状态。以Application对象为例，相关类分别为：状态类：ApplicationState处理器类：Application事件类型类：ApplicationEventType事件类：ApplicationEvent及子类其状态机如下图：状态机框架框架中的泛型OPERAND表示状态机的操作对象，如Application对象。STATE表示对象的状态，如ApplicationState代表的相 阅读全文

摘要：这个是由于HDFS被异常关闭之后造成数据库的不一致状态而造成的：1）等当然，这个是最安全的方式，如果等了太长时间仍处于这个状态，尝试下面的方法2)强制退出安全模式，hadoop dfsadmin -safemode leave这种方式虽然快，但会有遗留问题，然后你就用"hadoop fsck /" 工具慢慢修复吧1）删除tmp文件目录下的所有的文件，重新format这种方式非常暴力，所有的数据均没有了 阅读全文

摘要：报出这个错误的原因是无法像HDFS写信息，可能是你重新初始化了HDFS，立马就运行了jobtracker。解决办法就是，等一段时间，等HDFS初始化成功即可。 阅读全文

摘要：问题解决方法1. hadoop namenode -format2. 修改core-site.xml中的hadoop.tmp.dir 这个位置从/tmp到/var中的某个位置注意，这样操作数据可能丢失 阅读全文

摘要：转载自：http://blog.csdn.net/viproc/article/details/7570866情景描述： 按照hadoop手册，搭建Single Node. 启动hadoop时 #./start-all.sh 报错： ####################################################### localhost: Unrecognized option: -jvm localhost: Could not create the Java virtual machine. ###################################. 阅读全文

摘要：主要参考: http://hadoop.apache.org/docs/r0.20.0/quickstart.html其中，JAVA_HOME设置的为/usr/lib/jvm/java-6-sun ，这个为本机java的路径，可以将java-6-openjdk改为这个，命令：update-java-alternatives -s java-6-sun单台操作这个模式是在一个java进程中运行hadoop,便于调试，具体操作为在根目录下：$ mkdir input $ cp conf/*.xml input $ bin/hadoop jarhad... 阅读全文