mephisto’blog

二人行,也有吾师!
Fork me on GitHub
摘要: 上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传,删除等,下面我们熟悉下Hadoop命令,从而更能直接,强力的对Hadoop进行操作。   下面,我们就开始对Hadoop命令进行粗略的解析。本文有些地方是自己翻译的,翻译的不好望见谅。本章节内容较多,还是分为上下两部分。 阅读全文
posted @ 2015-10-12 09:38 sinodzh 阅读(4795) 评论(1) 推荐(9) 编辑
摘要: 上一篇,我们使用Maven构建了我的MapReduce程序,并且成功的运行了Job。那么大家可能会觉得为什么要这么做,有没有些理论依据,毕竟对hadoop的功能,特点有了了解后,做事情会心里稍微有点底。所以我们开始补些理论知识。   下面,我们就开始比较下Hadoop1.x与Hadoop2.x,感受下产品迭代的快乐。 申明,这一篇幅的图都是网上找的,就不打水印了,做人得厚道。 阅读全文
posted @ 2015-10-10 16:23 sinodzh 阅读(2129) 评论(0) 推荐(6) 编辑
摘要: 上一篇,我们编写了第一个MapReduce,并且成功的运行了Job,Hadoop1.x是通过ant来管理工程的,后来到了2.x就开始使用maven来管理了。   那么我们就有理由用maven来构建我们的Hadoop工程。 阅读全文
posted @ 2015-10-08 15:52 sinodzh 阅读(9230) 评论(0) 推荐(5) 编辑
摘要: 上一篇,我们的Eclipse插件搞定,那开始我们的MapReduce之旅。   在这里,我们先调用官方的wordcount例子,然后再手动创建个例子,这样可以更好的理解Job。 阅读全文
posted @ 2015-10-08 09:37 sinodzh 阅读(3813) 评论(1) 推荐(10) 编辑
摘要: 上一篇,我们的第一个Cluster搞定了,按平常的搭建集群来说,应该是至少3个DataNode的,应为默认的一份HDFS文件分成3份,所以最少也得3个DataNode的服务器,但由于本机就一块硬盘,内存也不大,所以,勉强的用2份。   在这里我们开始使用MyCluster了,有个Eclipse的插件用上去后,对HDFS文件的处理就比较方便了,我们开始吧! 阅读全文
posted @ 2015-10-07 11:13 sinodzh 阅读(3270) 评论(8) 推荐(4) 编辑
摘要: 上一篇,我们把Ambari的环境基本搭建好了,那么我们趁热打铁,打造我们的第一个HDP集群,这样,离我们下一步就越来越近了,在安装中还是会碰到很多想不到的情况的。所以,注意分析,找到解决方法很重要。   对了,这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。 阅读全文
posted @ 2015-10-03 12:44 sinodzh 阅读(3519) 评论(5) 推荐(5) 编辑
摘要: 这里我们选择Ambari作为HDP的生产管理工具,如果我们一个个去配置HDP,很浪费时间,也很没有效率,成功率。生产环境也得尽量的自动化,让工具帮我们做大部分重复的工作,解放双手,解放时间,解放效率。   下面我们就Ambari的在线安装展开叙述,如果大家对离线安装感兴趣,到时候再加篇幅进行叙述。 阅读全文
posted @ 2015-09-30 13:06 sinodzh 阅读(5171) 评论(13) 推荐(10) 编辑
摘要: 我们已经准备好了网络访问,防火墙,Hosts,SSH等设置,下面我们根据上篇中的检查列表处理下剩下的内容,包括yum,时间同步,本地仓库等。 我们开始吧。 阅读全文
posted @ 2015-09-29 07:37 sinodzh 阅读(4201) 评论(4) 推荐(6) 编辑
摘要: 在上一步骤,我们已经准备了4台虚拟机,分别是H30,H31,H32,H33。其中H30为我们的Ambari服务器,H31为NameNode服务器,H32,H33为我们的DataNode服务器。   接下来,我们就得准备下这些虚拟机的Linux环境了。 阅读全文
posted @ 2015-09-28 13:58 sinodzh 阅读(4989) 评论(4) 推荐(8) 编辑
摘要: 我们对Hadoop有了初步的认知,得有NameNode,DataNode,NameNode和DataNode可以在一个机器上,但这样效果不好。由于本人的机器只有8G内存,所以这里就创建4个虚拟机一个专门给Ambari使用,一个给NameNode,另外两个给DataNode。   我们开始迈出第一步了。 阅读全文
posted @ 2015-09-25 10:32 sinodzh 阅读(5243) 评论(11) 推荐(12) 编辑