摘要：
在Hadoop 2.2.0中，YARN框架有很多默认的参数值，如果你是在机器资源比较不足的情况下，需要修改这些默认值，来满足一些任务需要。NodeManager和ResourceManager都是在yarn-site.xml文件中配置的，而运行MapReduce任务时，是在mapred-site.x 阅读全文
摘要：
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS , YARN , HBase , Hive , 阅读全文
摘要：
Hadoop主要版本 目前国内使用的不收费的Hadoop版本主要包括以下3个： Apache hadoop Cloudera的CDH Hortonworks版本(Hortonworks Data Platform，简称“HDP”） 注： Apache hadoop，最原始的版本，所有发行版均基于这个 阅读全文
摘要：
Hadoop的起源 Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的架构，与Google类似），Lucene后来面临与Google同样的错误。于是，Doug Cutting学习并模仿Google解决这些问题的办法，产生了一个 阅读全文