随笔分类 -  hadoop

摘要:Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装 阅读全文
posted @ 2018-06-14 17:39 leffss 阅读(1114) 评论(0) 推荐(0) 编辑
摘要:在Hadoop 2.2.0中,YARN框架有很多默认的参数值,如果你是在机器资源比较不足的情况下,需要修改这些默认值,来满足一些任务需要。NodeManager和ResourceManager都是在yarn-site.xml文件中配置的,而运行MapReduce任务时,是在mapred-site.x 阅读全文
posted @ 2018-06-13 16:03 leffss 阅读(365) 评论(0) 推荐(0) 编辑
摘要:Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS , YARN , HBase , Hive ,  阅读全文
posted @ 2018-06-13 16:02 leffss 阅读(694) 评论(0) 推荐(0) 编辑
摘要:Hadoop主要版本 目前国内使用的不收费的Hadoop版本主要包括以下3个: Apache hadoop Cloudera的CDH Hortonworks版本(Hortonworks Data Platform,简称“HDP”) 注: Apache hadoop,最原始的版本,所有发行版均基于这个 阅读全文
posted @ 2018-06-13 16:01 leffss 阅读(1751) 评论(0) 推荐(0) 编辑
摘要:Hadoop的起源 Doug Cutting是Hadoop之父 ,起初他开创了一个开源软件Lucene(用Java语言编写,提供了全文检索引擎的架构,与Google类似),Lucene后来面临与Google同样的错误。于是,Doug Cutting学习并模仿Google解决这些问题的办法,产生了一个 阅读全文
posted @ 2018-06-13 16:00 leffss 阅读(740) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示