2014年12月19日
摘要：
当计算机内的文件被有意无意的删除、或遭到病毒破坏、分区被格式化后，若想恢复这些已丢失的文件，均可使用本功能。实际上，操作系统在删除文件时，只是将被删除文件打上了“删除标记”，并将文件数据占用的磁盘空间标记为“空闲”。文件数据并没有被清除，还静静地“躺”在磁盘上。只要删除文件后没有建立新的文件，操作系... 阅读全文
摘要：
在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图... 阅读全文
摘要：
Hadoop的内存配置有两种方法：利用手动安装hadoop的帮助脚本；手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py wget http://public... 阅读全文
摘要：
MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。以下这些参... 阅读全文
摘要：
转载：安装完CentOS5.9(Final)后，执行#Python与#python -V，看到版本号是2.4.3，很老了，而且之前写的都是跑在python3.X上面的，3.X和2.X有很多不同，有兴趣的朋友可以参考下这篇文章安装完CentOS5.9(Final)后，执行#Python与#python... 阅读全文