摘要: 看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括Zo 阅读全文
posted @ 2016-07-11 16:06 哼哼哈哈二将 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 为什么需要在Mapper端进行归约处理? 为什么可以在Mapper端进行归约处理? 既然在Mapper端可以进行归约处理,为什么在Reducer端还要处理? 上面三个问题,可以查看帖子 hadoop中,combine、partition、shuffle作用分别是什么? 阅读全文
posted @ 2016-07-11 16:03 哼哼哈哈二将 阅读(5107) 评论(0) 推荐(1) 编辑
摘要: 网上资料很多,但是都不怎么实用,这里给大家总结一下。nat模式上网。因为nat本身就能上网为什么还要设置ip。这有点自找麻烦。但是在集群这是必须的。要么你搭建伪分布,要么至少具有三台物理机器。为了节省成本,一般会选择伪分布。伪分布也有选择,三种模式那种方式比较合适。1.桥接,这种方式对于大多数来说比 阅读全文
posted @ 2016-07-11 15:40 哼哼哈哈二将 阅读(6503) 评论(0) 推荐(0) 编辑
摘要: VMWare提供了三种工作模式,它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。要想在网络管理和维护中合理应用它们,你就应该先了解一下这三种工作模式。这里首先大概介绍它们什么情况下需要它们。bridged相当于创建一台独立的电脑。你可以让它跟主机通信,但 阅读全文
posted @ 2016-07-11 14:48 哼哼哈哈二将 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其 阅读全文
posted @ 2016-07-11 14:43 哼哼哈哈二将 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 当我们安装完毕hadoop2的时候,我们看到为啥没有jobtracker,这是因为hadoop2中已经没有jobtracer了,而是产生了yarn,yarn是什么那,可以看yarn详解,我们为什么已经安装了,但是却不知道已经成功了,原因是因为我们缺乏hadoop2的认识,下面介绍了hadoop1.X 阅读全文
posted @ 2016-07-11 14:40 哼哼哈哈二将 阅读(4291) 评论(0) 推荐(1) 编辑