随笔分类 - hadoop
摘要:一个朋友加我为好友,问是否有hadoop视频,说是同事推荐的。我根据姓名一查,果然是超人学院的会员。仅仅通过看视频,也能拿到月薪1万的工资,就是这么简单,有图有真相,信不信由你,反正我信了!
阅读全文
摘要:前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂。对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减。不过,我有免费的学习视频下载,请点击这里。 hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障、资源利用率低、支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势。当然,配置也更加复杂,网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的。我应该算是第一个吧。hadoop2体系结构 要想理解本节内容,首先需要了解hadoop1的体系结构。在本博客中和我的视频中都有相关内容,这里不再重复,只讲had
阅读全文
摘要:简介 hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker,而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN,是一次革命性的变化。 配置 在前面的文章中,我们配置了hadoop2集群的HA高可靠,下面紧接上前面的配置,设置MapReduce的配置信息,也是最简单最容易上手的。 修...
阅读全文