摘要：1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N 阅读全文

摘要：1.下载源码 首先，从github上下载protobuf的源码，地址：https://github.com/google/protobuf,我选择下载2.5.0版本。 2.编译protobuf 将下载的压缩包解压缩 根目录下没有configure文件，却有一个autogen.sh，原来是因为prot 阅读全文

摘要：yarn 的执行流程 Spark wordCount 执行流程 mr 的shuffle 过程 阅读全文

摘要：图不是使用Visio画的 画的不是特别好【仅仅记录一下 学习过程】 阅读全文

摘要：Hadoop2.4.0 重新编译 64 位本地库 环境：虚拟机 VirtualBox，操作系统 64 位 CentOS 6.4 下载重新编译需要的软件包 apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz a 阅读全文